Data Engineer

Dla klienta z branży finansowej poszukiwany jest Data Engineer do wysoko wydajnego zespołu tworzącego nowoczesne platformy danych i rozwiązania oparte na danych dla klientów z sektora usług finansowych i bankowości inwestycyjnej. Rola koncentruje się na budowie, integracji i utrzymaniu skalowalnych potoków danych wspierających analitykę, zarządzanie ryzykiem, wymagania regulacyjne oraz procesy raportowania.

Zakres obowiązków

• Projektowanie, rozwój i utrzymanie potoków danych ETL/ELT dla danych ustrukturyzowanych i częściowo ustrukturyzowanych.
• Budowa i optymalizacja rozwiązań typu data lakehouse wspierających analitykę, raportowanie oraz wymagania regulacyjne.
• Implementacja procesów pozyskiwania danych z wielu źródeł: baz danych, API, plików oraz strumieni komunikatów i zdarzeń.
• Wykonywanie transformacji danych, walidacji oraz kontroli jakości w całych przepływach danych end-to-end.
• Współpraca z Analitykami Biznesowymi oraz interesariuszami w celu przełożenia wymagań biznesowych na rozwiązania danych.
• Wsparcie środowisk produkcyjnych, analiza incydentów oraz udział w optymalizacji wydajności.
• Zapewnienie zgodności z zasadami zarządzania danymi, bezpieczeństwa oraz standardami regulacyjnymi.

Wymagania

• Minimum 3–7+ lat doświadczenia jako Inżynier Danych lub na podobnym stanowisku.
• Udokumentowane doświadczenie w dostarczaniu rozwiązań danych dla sektora Financial Services / Investment Banking.
• Silne doświadczenie w integracji danych, transformacji danych i modelowaniu danych.
• Doświadczenie w pracy z platformami danych działającymi w chmurze.
• Znajomość programowania i przetwarzania danych: Python, SQL, PySpark.
• Znajomość platform danych: Databricks (Delta Lake, DLT), cloud data lakes oraz architektur lakehouse.
• Znajomość Azure: ADLS (Azure Data Lake Storage), Data Factory, Synapse lub równoważnych usług chmurowych.
• Znajomość modelowania danych: architektura Medallion, modele wymiarowe; Data Vault mile widziane.
• Znajomość integracji przez REST API, przetwarzania wsadowego oraz strumieniowego.
• Znajomość Git, pipeline’ów CI/CD, Azure DevOps lub podobnych narzędzi.
• Bardzo dobra znajomość jakości danych, optymalizacji wydajności i skalowalności rozwiązań.