Data Engineer / Senior Data Engineer Microsoft Fabric

Stawka B2B: 125–160 PLN netto + VAT/h

Tryb pracy: hybrydowy — uzgodnione spotkania projektowe 1 dzień w tygodniu w Warszawie

Poszukujemy osoby o profilu Data Engineer / Senior Data Engineer Microsoft Fabric z minimum 3 latami komercyjnego doświadczenia.

Wiodący stack technologiczny

• Microsoft Fabric
• Azure Data Factory
• PySpark
• Python
• SQL
• Delta Lake
• Parquet
• Microsoft Azure
• Git
• CI/CD
• Azure Synapse
• Databricks
• Data Quality
• Excel
• R

Opis projektu

Projekt dotyczy rozwoju i utrzymania procesów data engineeringowych w środowisku Microsoft Fabric i Azure. W ramach projektu będziesz odpowiadać za projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark, onboarding i integrację źródeł danych, transformacje oraz przygotowanie danych wsadowych.

Istotnym elementem będzie również zapewnienie jakości, wersjonowania i bezpieczeństwa danych oraz automatyzacja wdrożeń z wykorzystaniem Git i CI/CD. Projekt realizowany jest w środowisku o wysokich wymaganiach w zakresie bezpieczeństwa i audytowalności.

Wymagania

• Minimum 3 lata doświadczenia na stanowisku Data Engineer przy realizacji produkcyjnych projektów danych
• Bardzo dobra znajomość Python, PySpark oraz SQL i doświadczenie w pracy z dużymi zbiorami danych
• Praktyczne doświadczenie z Microsoft Fabric lub pokrewnymi platformami, takimi jak Azure Synapse czy Databricks
• Znajomość architektury warstwowej danych, np. Medallion Architecture, oraz formatów Delta Lake / Parquet
• Doświadczenie w projektowaniu i implementacji pipeline’ów danych oraz integracji różnorodnych źródeł, w tym plików Excel i baz danych
• Praktyczna znajomość Git oraz pracy zespołowej z wykorzystaniem code review i CI/CD
• Doświadczenie w implementacji mechanizmów Data Quality, walidacji danych i raportowania błędów
• Znajomość zasad bezpieczeństwa i ochrony danych w środowisku Azure oraz gotowość do pracy z wymaganiami dotyczącymi prywatności i audytowalności
• Umiejętność optymalizacji procesów przetwarzania danych pod kątem wydajności i kosztów

Mile widziane

• Certyfikaty DP-600 / DP-700
• Doświadczenie w sektorze finansowym
• Znajomość R
• CI/CD dla platform danych
• Praca w metodykach Agile/Scrum

Oferowane warunki

• Projekty, w których będziesz mieć wpływ na ich rozwój
• Współpraca z klientami biznesowymi z różnych branż, m.in. finansów, bankowości, ubezpieczeń, healthcare, robotyzacji, energetyki i mediów
• Bieżące informacje projektowe oraz stały dostęp do dokumentacji niezbędnej do realizacji zadań, np. Git, Gitflow, Angular, Docker, Primaris x TechTalks i Primaris Leadership Academy
• Przyjazna atmosfera współpracy w zaangażowanym zespole
• Zdalny proces nawiązywania współpracy i onboardingu

Proces nawiązywania współpracy

• Rozmowa telefoniczna — do 30 min
• Zdalne spotkanie z Product Ownerem projektu — 30–60 min