Data Engineer (k/m/x)

Szukamy Data Engineera do rozwoju procesów zasilania danych dla hurtowni danych, środowiska Big Data i platformy Google Cloud.

O projekcie

Projekt obejmuje rozwój procesów zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Dane są wykorzystywane m.in. do datamartów, analiz, raportowania, segmentacji klientów oraz przygotowywania spersonalizowanych ofert i kampanii.

Twój zakres obowiązków

• Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i streamingu

• Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych

• Modelowanie danych i tworzenie datamartów

• Optymalizacja SQL, wydajności i kosztów

• Zapewnianie jakości danych, monitoringu, obsługi błędów i testów

• Diagnozowanie incydentów i wsparcie wdrożeń

• Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps

Wymagania

• Doświadczenie w budowie procesów ETL lub ELT

• Doświadczenie w pisaniu i optymalizacji zapytań SQL

• Doświadczenie w pracy z BigQuery

• Doświadczenie w programowaniu w Python lub Rust

• Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming

• Doświadczenie w pracy z Kafka lub Pub/Sub

• Doświadczenie w pracy z bazami Oracle lub PostgreSQL

• Znajomość systemu Linux

Mile widziane

• Doświadczenie z Google Cloud

• Doświadczenie z Dataflow lub Dataproc, Cloud Storage

• Doświadczenie z Apache Spark

• Doświadczenie z Apache Beam

• Doświadczenie z Kubernetes lub Docker

• Doświadczenie z Informatica PowerCenter

• Doświadczenie z Data Lake

• Doświadczenie z AutomateNOW

B2B Network łączy specjalistów IT z projektami, które do nich pasują. To Ty wybierasz projekt, my zapewniamy stabilne warunki i wsparcie.