Data Engineer ze znajomością przetwarzania danych niestrukturalnych

Poszukiwany jest Data Engineer ze znajomością przetwarzania danych niestrukturyzowanych, w tym audio, obrazów i dokumentów tekstowych.

Wymagania

• Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake
• Doświadczenie w programowaniu w Pythonie i/lub Rust
• Znajomość technologii wykorzystywanych w architekturze sterowanej zdarzeniami, np. Kafka, Pub/Sub
• Dobra znajomość GCP BigQuery, w tym projektowania, budowy i tuningu baz danych
• Znajomość Oracle i PostgreSQL, w tym projektowania, budowy i tuningu baz danych
• Zaawansowana znajomość systemu operacyjnego Linux

Mile widziane

• Znajomość aspektów budowy rozwiązań Big Data wykorzystujących GenAI do przetwarzania danych niestrukturyzowanych, takich jak transkrypcje audio oraz konwersje dokumentów tekstowych i obrazów
• Automate Now
• Airflow
• Apache Spark, najlepiej GCP Dataproc
• Apache Beam, najlepiej GCP Dataflow
• Informatica PowerCenter