Senior Data Engineer

Dla naszego klienta poszukujemy doświadczonego Data Engineera, który dołączy do projektu z obszaru R&D i będzie pracować przy rozwoju oraz utrzymaniu procesów przetwarzania danych.

Szukamy osoby z minimum 7-letnim doświadczeniem w Data Engineering, ETL oraz Data Warehouse development i modeling, bardzo dobrą znajomością SQL oraz praktycznym doświadczeniem z AWS, dbt, Airflow i Pythonem.

🌍 Tryb pracy: 100% zdalnie

🤝 Forma współpracy: B2B

🎓 Doświadczenie: min. 7 lat

Wymagania:

• Minimum 7 lat doświadczenia w Data Engineering, ETL oraz Data Warehouse development i modeling

• Bardzo dobra znajomość SQL, w tym transformacja i walidacja danych, reconciliation, troubleshooting oraz optymalizacja zapytań

• Doświadczenie w dimensional data modeling, w tym Star Schema, Snowflake Schema, Fact and Dimension Modeling oraz Slowly Changing Dimensions

• Praktyczne doświadczenie z Pythonem w obszarze Data Engineering lub automatyzacji workflow

• Doświadczenie z dbt

• Doświadczenie z AWS, w szczególności S3, Glue, Lambda i Redshift

• Doświadczenie z Apache Airflow, w tym tworzeniem DAG-ów i orkiestracją workflow

• Doświadczenie w budowie i utrzymaniu produkcyjnych pipeline’ów ETL/ELT

• Znajomość zagadnień data quality, error handling i production support

• Doświadczenie w tworzeniu diagramów architektury i dokumentacji technicznej

• Znajomość Git lub podobnych narzędzi kontroli wersji

Zakres obowiązków:

• Rozwój i utrzymanie pipeline’ów danych R&D

• Analiza plików źródłowych, wymagań biznesowych, mappingów i istniejących konfiguracji pipeline’ów

• Tworzenie i utrzymanie diagramów architektury oraz conceptual, logical i physical data models

• Projektowanie modeli danych w oparciu o Star Schema i Snowflake Schema

• Budowa i optymalizacja transformacji danych z wykorzystaniem dbt

• Rozwój logiki ingestion, transformation i publish z wykorzystaniem YAML, AWS S3, Airflow, SQL i Redshift

• Wsparcie architektury Medallion

• Implementacja data quality checks i exception handling

• Obsługa zmian w schematach danych, nowych kolumn, typach danych, brakujących polach i formatach plików

• Walidacja i reconciliation danych source-to-target przed wdrożeniem produkcyjnym

• Troubleshooting pipeline’ów, brakujących lub opóźnionych plików oraz problemów z danymi na produkcji

• Udział w code review, testach, deploymentach i aktualizacji dokumentacji

• Współpraca z biznesem, vendorami i zespołami technicznymi przy doprecyzowaniu wymagań i rozwiązywaniu problemów

📬 Chcesz dowiedzieć się więcej lub od razu aplikować na to stanowisko?

Po więcej informacji zapraszam do wiadomości pod adresem marta.rys@gsservices.pl 📬