Data Engineer (Azure)

Projekt

Budowa i rozwój platformy DataHub opartej na architekturze medalionowej (Bronze/Silver/Gold) oraz modelu Data Vault 2.0. Platforma wspiera integrację i przetwarzanie danych dla wielu obszarów biznesowych.

Zakres usług

• Rekomendowanie optymalizacji wydajności, przechowywania i przetwarzania danych na podstawie ustaleń z interesariuszami projektu.
• Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure i Azure Databricks, zapewniających integrację danych z wielu źródeł.
• Projektowanie i wdrażanie modeli danych zgodnych z architekturą Data Vault 2.0.
• Dostarczanie rozwiązań do walidacji danych, wykrywania anomalii, monitorowania jakości danych i raportowania.
• Dokumentowanie modeli danych, potoków przetwarzania oraz decyzji architektonicznych zgodnie ze standardami projektu.
• Opracowywanie i utrzymanie procesów przetwarzania danych wspierających analitykę oraz raportowanie w czasie rzeczywistym.
• Tworzenie i optymalizacja potoków ETL/ELT w Spark i PySpark.

Wymagane kompetencje

• Minimum 4 lata doświadczenia w projektach jako Data Engineer.
• Komunikatywna znajomość języka angielskiego umożliwiająca współpracę w środowisku międzynarodowym.
• Znajomość usług Microsoft Azure, w szczególności Azure Databricks i Azure DevOps.
• Doświadczenie w projektowaniu i budowie rozwiązań dla dużych zbiorów danych.
• Doświadczenie w budowie i optymalizacji procesów ETL/ELT.
• Praktyczna znajomość Python, Spark, PySpark oraz SQL.

Mile widziane

• Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD.
• Znajomość modelowania danych w oparciu o Data Vault 2.0.
• Znajomość Terraform, Docker oraz Kubernetes.
• Doświadczenie z dbt (Data Build Tool).

Oferta

• Gotowość do spotkań koordynacyjnych w Warszawie, w centrum miasta; częstotliwość i termin do uzgodnienia.
• Miejsce i czas świadczenia usług do uzgodnienia.
• Realizacja usług w ramach strategicznego programu budowy platform danych dla międzynarodowej organizacji z branży ubezpieczeniowej.
• Współpraca projektowa z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych rezultatów.
• Uczestnictwo w wydarzeniach branżowych i meetupach technologicznych.
• Elastyczna forma współpracy B2B.
• Szybki i zdalny proces rekrutacyjny.