Senior Data Engineer – Spark / Data Lakehouse

Opis

Dołącz do zespołu Data Platform klienta z sektora bankowego, gdzie będziesz projektować i wdrażać rozwiązania do rekoncyliacji danych w ODS opartym o MongoDB oraz budować warstwy danych w architekturze Data Lakehouse. Rola łączy rozwój rozwiązań opartych o Apache Spark, PySpark i Spark SQL z optymalizacją przetwarzania danych, wdrażaniem CI/CD oraz monitoringiem procesów batchowych i streamingowych. Będziesz mieć wpływ na jakość, wydajność i niezawodność kluczowych procesów danych w środowisku bankowym.

Technologie i narzędzia

• Python
• Apache Spark
• PySpark
• Spark SQL
• DataFrames
• Structured Streaming
• MongoDB
• MongoDB Spark Connector
• Delta Lake
• Apache Iceberg
• Hudi
• Jenkins
• Prometheus
• Grafana
• OpenTelemetry
• Dynatrace
• Kubernetes
• Docker
• Spark Operator

Szukamy Ciebie, jeśli

• Posiadasz minimum 4 lata praktycznego doświadczenia w środowiskach produkcyjnych z wykorzystaniem Apache Spark.
• Masz doświadczenie z PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Posiadasz doświadczenie w odczycie i zapisie danych z/do MongoDB przy użyciu MongoDB Spark Connector.
• Posiadasz praktyczne doświadczenie z architekturą Data Lakehouse, w tym zarządzaniem tabelami wersjonowanymi przy użyciu Iceberg, Delta Lake lub Hudi.
• Znasz Jenkins i potrafisz automatyzować testy unit/integration oraz procesy deploymentu aplikacji Spark.
• Znasz narzędzia do monitoringu i obserwowalności: Prometheus i Grafana.
• Swobodnie komunikujesz się w języku angielskim na poziomie minimum B2 i efektywnie pracujesz w metodykach Agile: Scrum/Kanban.

Mile widziane

• Praktyczna znajomość Dynatrace i OpenTelemetry.
• Doświadczenie z Docker oraz Spark Operator w środowisku Kubernetes.

Zadania

• Projektowanie i implementacja zadań Spark SQL/PySpark do weryfikacji spójności danych między ODS (MongoDB) a systemami źródłowymi.
• Łączenie Spark z MongoDB przy użyciu MongoDB Spark Connector.
• Optymalizacja odczytów z MongoDB.
• Budowa architektury medalionowej z wykorzystaniem Iceberg, Delta Lake lub Hudi.
• Implementacja CI/CD dla schematów tabel, migracji i wersjonowania.
• Kosztowa optymalizacja zapytań w środowisku Data Lakehouse.
• Konfiguracja metryk (Prometheus i Grafana), logów oraz śledzenia (OpenTelemetry i Dynatrace) dla Spark i procesów batch/stream.
• Definiowanie SLA/SLO oraz alertów.
• Diagnoza problemów z rekordami, opóźnieniami i niezgodnościami danych.
• Współpraca z Data Engineerami, Business Analystami, testerami i zespołem DevOps.

Czego możesz się spodziewać

• Współpraca w oparciu o kontrakt B2B.
• Model hybrydowy: raz w tygodniu z biura we Wrocławiu.
• Profesjonalny proces rekrutacyjny oraz feedback niezależnie od decyzji.