Senior Data Engineer

Quick Facts

• Budowa i utrzymanie platformy danych: pipeline’y, hurtownia danych, replikacja CDC/streaming, warstwa semantyczna i BI, modele analityczne produkcyjnie.
• Zapewnienie jakości i niezawodności danych: testy, monitoring i alerty.

Description

Szukamy osoby, która pomoże zbudować platformę danych - od pobierania danych z systemów źródłowych, przez hurtownię i spójne metryki, po BI i modele analityczne. Kluczowe będzie eksperckie podejście do SQL i chmurowych hurtowni danych oraz umiejętność tworzenia produkcyjnego kodu w Pythonie i orkiestracji procesów. Istotne jest doświadczenie z migracjami do chmury i odpowiedzialność za platformę po jej uruchomieniu.

Responsibilities

• Budowa i utrzymanie pipeline’ów danych: pozyskiwanie, orkiestracja, transformacja i udostępnianie danych na potrzeby raportowania oraz analityki.
• Zaprojektowanie i wdrożenie hurtowni danych: modelowanie struktur oraz dobór rozwiązań zapewniających wydajność, skalowalność i kontrolę kosztów.
• Uruchomienie replikacji CDC z bazy produkcyjnej i/lub streamingu danych: określenie zakresu replikacji i dobór architektury.
• Zapewnienie jakości i niezawodności danych: wdrożenie testów, monitoringu i alertów wykrywających awarie zasilania zanim zauważą je odbiorcy raportów.
• Budowa warstwy semantycznej, agregatów i słowników: wspólne definicje metryk oraz dashboardy korzystające bezpośrednio z modelu danych.
• Wdrożenie warstwy BI i produkcyjne uruchomienie modeli analitycznych: m.in. przewidywania churnu, LTV i konwersji oraz segmentacji klientów.

Requirements

• Minimum 6 lat doświadczenia w inżynierii danych, w tym co najmniej jednej migracji zakończonej wdrożeniem produkcyjnym.
• Znajomość kilku generacji technologii danych oraz odpowiedzialność za platformę po jej uruchomieniu.
• Ekspercka znajomość SQL i chmurowych hurtowni danych: projektowanie schematów, analiza planów wykonania, optymalizacja zapytań, partycjonowanie, klastrowanie i kontrola kosztów.
• Tworzenie produkcyjnego kodu w Pythonie oraz orkiestracja procesów z wykorzystaniem Airflow, Dagster, Workflows lub podobnych narzędzi.
• Znajomość mechaniki CDC i replikacji logicznej.
• Dobre praktyki inżynierskie: transformacje w wersjonowanym SQL (dbt lub Dataform), testy i dokumentacja w repozytorium, praca z Git i CI/CD oraz przeglądy kodu.
• Praktyczna znajomość bezpieczeństwa danych: zarządzanie sekretami, tożsamościami usług i dostępem opartym na rolach.
• Atut: pipeline’y wykorzystujące modele językowe do klasyfikacji, wzbogacania danych lub wyszukiwania wektorowego.
• Samodzielność: przekładanie potrzeb finansów, produktu i IT na rozwiązania techniczne oraz podejmowanie i wdrażanie decyzji bez bieżącego nadzoru technicznego.

Benefits

• Projektowa współpraca B2B oparta na uzgodnionym zakresie, etapach i rezultatach.
• Samodzielność techniczna i wpływ na architekturę: od wyboru podejścia po wdrożenie i uruchomienie produkcyjne.
• Bezpośrednia współpraca z finansami, produktem i IT w celu dopasowania rozwiązań do potrzeb biznesowych.
• Zdalna współpraca i elastyczne godziny; samodzielna organizacja czasu przy uzgodnionych terminach i spotkaniach projektowych.