Senior Data Engineer (Databrics, Pyspark, SQL)

Quick Facts

Wrocław (praca hybrydowa). Umowa o pracę na pełny etat lub alternatywnie B2B / umowa zlecenia. Stabilna, długoterminowa współpraca oraz możliwość udziału w kolejnych projektach.

Description

Tworzenie i rozwój rozwiązań data engineering w środowisku Databricks. Budowa oraz utrzymanie procesów przetwarzania danych w trybie batch i streaming, projektowanie i optymalizacja pipeline’ów danych z wykorzystaniem PySpark i SQL. Zarządzanie i organizacja danych zgodnie z zasadami Data Governance przy wykorzystaniu Unity Catalog.

Responsibilities

• Tworzenie i rozwój rozwiązań data engineering w środowisku Databricks
• Budowa oraz utrzymanie procesów przetwarzania danych w trybie batch i streaming
• Projektowanie oraz optymalizacja pipeline’ów danych z wykorzystaniem PySpark i SQL
• Tworzenie i rozwój workflowów wspierających niezawodne przetwarzanie danych
• Zarządzanie i organizacja danych zgodnie z zasadami Data Governance przy wykorzystaniu Unity Catalog
• Współpraca z międzynarodowymi zespołami w projektach z obszaru logistyki i magazynowania
• Monitorowanie jakości danych, rozwiązywanie problemów oraz usprawnianie istniejących procesów
• Wsparcie działań związanych z automatyzacją wdrożeń i praktykami DevOps

Requirements

• Minimum 5 lat doświadczenia na stanowisku Data Engineera lub pokrewnym
• Bardzo dobra znajomość Databricks, PySpark oraz SQL
• Doświadczenie w budowie i utrzymaniu procesów batch processing oraz streamingowych
• Umiejętności projektowania skalowalnych pipeline’ów i workflowów danych
• Znajomość Unity Catalog oraz podstawowych zagadnień związanych z zarządzaniem danymi
• Doświadczenia we współpracy z zespołami pracującymi w środowisku chmurowym
• Znajomość praktyk DevOps będzie dużym atutem
• Doświadczenie z SQL Server będzie dodatkowym plusem
• Umiejętności analitycznego myślenia i skutecznego rozwiązywania problemów technicznych
• Bardzo dobrych umiejętności komunikacyjnych oraz doświadczenia we współpracy z interesariuszami biznesowymi i technicznymi
• Znajomości języka angielskiego na poziomie minimum B2

Benefits

• Umowa o pracę na pełny etat
• Praca hybrydowa, lokalizacja Wrocław
• Stabilna i długoterminowa współpraca
• Jasno zdefiniowana ścieżka kariery
• Możliwość relokacji w ramach lokalnych oddziałów
• Po zakończeniu projektu możliwość zaangażowania w kolejny w ramach firmy
• Wdrożenie oraz współpraca z dedykowanym Competences Managerem
• Benefity: opieka medyczna Medicover, opieka stomatologiczna Medicover, Medicover Benefits, karta sportowa Medicover
• Wyprawka dla nowonarodzonego dziecka pracownika
• Ubezpieczenie grupowe na życie
• Program emerytalny
• Możliwość współpracy na podstawie B2B lub umowy zlecenia (UZ)
• Dostęp do certyfikacji (np. Google, ISTQB), wydarzeń branżowych oraz Knowledge Sharing Program