Senior Data Engineer (Databricks / PySpark / AML)

Stawka: do 155 PLN/h netto + VAT

Praca zdalna

Branża: bankowość (projekt AML)

Podsumowanie

Poszukiwany jest Data Engineer do rozwoju i migracji warstwy danych w obszarze AML. Kluczowym elementem roli jest budowa i rozwój rozwiązań opartych na Databricks i PySpark, integrujących dane z wielu źródeł, oraz rozwój procesów ETL.

Zakres obowiązków

• Rozwój i utrzymanie rozwiązań w Databricks z wykorzystaniem PySpark.
• Projektowanie, rozwój i optymalizacja procesów ETL.
• Integracja danych z różnych źródeł: API, baz danych, plików i procesów batch.
• Migracja istniejących procesów ETL do nowej architektury danych.
• Transformacja, czyszczenie i mapowanie danych.
• Tworzenie oraz optymalizacja zapytań SQL.
• Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań.

Wymagania

• Bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość PySpark.
• Zaawansowana znajomość Python.
• Zaawansowana znajomość SQL / PL/SQL.
• Doświadczenie w projektowaniu i rozwijaniu procesów ETL.
• Doświadczenie w integracji danych z wielu źródeł: API, baz danych i procesów batch.

Mile widziane

• Doświadczenie w projektach związanych z AML lub Data Warehouse.
• Znajomość architektury nowoczesnych platform danych.

Informacje o projekcie

Projekt obejmuje rozwój i migrację warstwy danych AML.