Spark / Data Lakehouse Developer

Kogo szukamy?

Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.

Oczekiwania

• min. 4 lata doświadczenia z Apache Spark
• bardzo dobra znajomość PySpark i Spark SQL
• doświadczenie z MongoDB i MongoDB Spark Connector
• praktyczna znajomość Apache Iceberg
• doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold
• znajomość CI/CD i Jenkins
• znajomość Prometheus i Grafana
• doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence

Wymagania

• umiejętność optymalizacji procesów Spark
• doświadczenie w rekoncyliacji i kontroli jakości danych
• znajomość partitioningu, caching, broadcast joins i AQE
• doświadczenie w pracy z dużymi zbiorami danych
• samodzielność i analityczne podejście do rozwiązywania problemów
• umiejętność współpracy z zespołami Data, QA i DevOps

Oferujemy

• pracę przy nowoczesnej platformie Data Lakehouse
• udział w ciekawych projektach związanych z dużymi zbiorami danych
• pracę z nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana
• możliwość rozwoju i wpływu na rozwiązania technologiczne
• współpracę z doświadczonym zespołem