Senior Data Engineer – (AWS ,Databricks, Python)

Poszukujemy doświadczonego Senior Data Engineera, który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie nowoczesnych rozwiązań w zakresie przetwarzania i integracji danych. Osoba na tym stanowisku będzie blisko współpracować z analitykami, data scientistami oraz inżynierami ML, wspierając rozwój innowacyjnych projektów danych.

Zakres obowiązków:

• Projektowanie, rozwój i utrzymanie potoków danych (data pipelines) służących do ekstrakcji, transformacji i ładowania danych (ETL/ELT) do jeziora danych (Data Lake) oraz hurtowni danych.

• Opracowywanie reguł transformacji oraz modelowania danych.

• Współpraca z analitykami produktowymi, data scientistami i ML engineerami w celu przygotowania i udostępniania danych w zrozumiały sposób.

• Implementacja mechanizmów kontroli jakości danych, utrzymywanie katalogów danych oraz wykorzystanie narzędzi do orkiestracji, logowania i monitorowania.

• Stosowanie podejścia Test Driven Development (TDD) przy budowie potoków ETL/ELT.

• Wykorzystanie Git (oraz różnych strategii branchingowych) w ramach kontroli wersji.

Wymagania:

• 5-8 lat doświadczenia na stanowisku Data Engineer

• Bardzo dobra znajomość usług AWS (S3, IAM, Redshift, Sagemaker, Glue, Lambda, Step Functions, CloudWatch).

• Doświadczenie z platformami Databricks, Dataiku.

• Biegłość w Pythonie lub Javie, SQL (preferowany Redshift), Jenkins, CloudFormation, Terraform, Git, Docker.

• 2–3 lata doświadczenia z Apache Spark (PySpark).

• Dobre umiejętności komunikacyjne i dokumentacyjne (SDLC).

• Mile widziane: wiedza DSCS i DPTM.

Oferujemy:

• Udział w innowacyjnych projektach w międzynarodowym środowisku.

• Możliwość pracy z najnowszymi technologiami chmurowymi i big data.

• Dynamiczny i wspierający zespół ekspertów.