Azure Data Engineer

Be in IT specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT.Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.Obecnie dla naszego klienta poszukujemy osoby na stanowisko: Data Engineer. Zakres obowiązków:Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów.Do zespołu realizującego nowoczesne platformy danych i rozwiązania data-driven dla klientów z sektora Financial Services oraz Investment Banking poszukujemy Data Engineera. Osoba na tym stanowisku będzie odpowiedzialna za budowę, integrację i rozwój skalowalnych pipeline’ów danych wykorzystywanych m.in. w obszarach analityki, ryzyka, raportowania regulacyjnego oraz business intelligence.Projektowanie, rozwój i utrzymanie pipeline’ów ETL/ELT dla danych strukturalnych i półstrukturalnych.Budowa oraz optymalizacja rozwiązań typu Data Lake/Lakehouse.Integracja danych z wielu źródeł: baz danych, API, plików oraz systemów eventowych i streamingowych.Transformacja, walidacja oraz kontrola jakości danych w całym procesie przetwarzania.Optymalizacja wydajności pipeline’ów oraz procesów przetwarzania dużych wolumenów danych.Współpraca z Business Analystami, Architektami, QA oraz zespołami platformowymi.Przekładanie wymagań biznesowych na rozwiązania techniczne i modele danych.Wsparcie środowisk produkcyjnych oraz analiza incydentów i problemów wydajnościowych.Zapewnienie zgodności rozwiązań ze standardami data governance, security oraz regulacjami obowiązującymi w sektorze finansowym.Oczekujemy:Minimum 3–7+ lat doświadczenia na stanowisku Data Engineer lub podobnym.Doświadczenie w projektach realizowanych dla sektora finansowego.Bardzo dobra znajomość Python, SQL oraz PySpark.Praktyczne doświadczenie z Databricks, w tym Delta Lake i mile widziane DLT.Doświadczenie w budowie rozwiązań opartych o architekturę Data Lake/Lakehouse.Bardzo dobra znajomość środowiska Azure, w szczególności ADLS, Azure Data Factory oraz Synapse lub analogicznych usług chmurowych.Doświadczenie w integracji, transformacji oraz modelowaniu danych.Znajomość architektury Medallion oraz modeli dimensional.Doświadczenie z integracją poprzez REST API oraz procesami batchowymi i streamingowymi.Znajomość Git oraz CI/CD.Doświadczenie z Azure DevOps lub podobnymi narzędziami.Dobra znajomość zagadnień związanych z jakością danych, skalowalnością oraz performance tuningiem.Doświadczenie w pracy w środowisku Agile/Scrum.Gotowość do pracy w wymiarze 60% z biura (Wrocław lub Poznań), 40% zdalnie - liczone w skali miesiąca. Znajomości języka angielskiego na poziomie B2 lub C1 - umożliwiająca swobodną komunikację w międzynarodowym środowisku.Mile widziana jest dostępność ASAP, akceptowalny jest maksymalnie miesięczny okres wypowiedzenia, ze skutkiem na koniec miesiąca.Oferujemy:Długofalowa współpraca z wynagrodzeniem w przedziale 100-140 PLN netto/godz. + VAT.Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). Współpraca w modelu hybrydowym w biurze we Wrocławiu lub Poznaniu, w wymiarze 60% z biura, 40% zdalnie, rozliczane w skali miesiąca. Benefity - prywatna opieka medyczna, karta Multisport. Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.