Data Engineer (Microsoft Fabric)

Zakres współpracy

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric.
• Onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych.
• Realizacja transformacji danych oraz przygotowanie danych wsadowych.
• Implementacja reguł walidacji jakości danych oraz mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji.
• Realizacja usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD.
• Współpraca z zespołem ryzyka przy definiowaniu reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integracja standardów bezpieczeństwa firmy ze środowiskiem Azure.
• Optymalizacja procesów pod kątem wydajności i kosztów.
• Udział w projekcie realizowanym w branży ubezpieczeniowej.

Model współpracy: hybrydowy — 1x w tygodniu w Warszawie.

Stawka do 150 PLN/h w oparciu o współpracę B2B.

Kompetencje wymagane do realizacji usług

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych.
• Doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet.
• Doświadczenie w pracy z systemem kontroli wersji Git.
• Doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych.
• Gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa.
• Mile widziany certyfikat DP-600 lub DP-700.
• Mile widziane doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych.
• Mile widziana znajomość języka R.
• Mile widziane doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych.
• Mile widziane doświadczenie z frameworkami Data Quality.
• Mile widziane doświadczenie w metodykach Agile i Scrum.

Co oferujemy w ramach współpracy?

• Możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services.
• Zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie.
• Dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.