Senior Data Engineer

Quick Facts

• Rola: Data/AI Engineer (Data Engineering)
• Projekt: migracja platformy danych z on-premise (Cloudera) do Google Cloud Platform (GCP)
• Model pracy: 100% zdalnie z Polski

Description

Udział w strategicznej i międzynarodowej inicjatywie dotyczącej migracji platformy danych z Cloudera/on-premise do GCP. Projekt obejmuje projektowanie, rozwój i optymalizację rozwiązań danych w oparciu o usługi GCP, w tym utrzymanie pipeline’ów batch oraz streaming oraz współpracę międzynarodową z zespołami biznesowymi i architektami.

Responsibilities

• Udział w migracji platformy danych z Cloudera/on-premise do Google Cloud Platform
• Projektowanie, rozwój i optymalizacja rozwiązań danych w oparciu o usługi GCP
• Tworzenie i utrzymanie wydajnych pipeline’ów danych (batch oraz streaming)
• Praca z usługami GCP: Dataproc, Dataflow, BigQuery, Cloud Composer
• Analiza istniejących rozwiązań legacy i rekomendowanie docelowej architektury w chmurze
• Współpraca z zespołami biznesowymi, architektami i partnerami technologicznymi
• Dbanie o skalowalność, bezpieczeństwo i optymalizację kosztową rozwiązań danych
• Wsparcie automatyzacji, orkiestracji oraz CI/CD
• Udział w warsztatach technicznych, przygotowywaniu dokumentacji i podejmowaniu decyzji architektonicznych

Requirements

• Minimum 5-6 lat doświadczenia w Data Engineering, Big Data lub platformach danych (w tym projekty chmurowe)
• Bardzo dobra znajomość GCP: Dataproc (Spark, Hadoop Ecosystem), Dataflow (Apache Beam), BigQuery (projektowanie, optymalizacja wydajności i kosztów), Cloud Composer (Apache Airflow)
• Doświadczenie w migracjach on-premise do chmury
• Mile widziane doświadczenie z platformami Cloudera lub innymi rozwiązaniami Hadoop
• Bardzo dobra znajomość Python w ETL, automatyzacji i budowie pipeline’ów danych
• Znajomość Javy, szczególnie w kontekście Spark, Apache Beam oraz batch i streaming
• Doświadczenie w projektowaniu i wdrażaniu złożonych pipeline’ów danych w środowiskach produkcyjnych
• Umiejętność architektury danych w GCP: skalowalność, bezpieczeństwo, efektywność kosztowa
• Praktyczna znajomość Airflow, Git, Terraform lub podobnych rozwiązań
• Bardzo dobra znajomość angielskiego (min. B2+/C1)
• Znajomość Data Governance, bezpieczeństwa danych i zarządzania dostępami w chmurze

Benefits

• Stabilna i długoterminowa współpraca
• Jasno zdefiniowana ścieżka kariery
• Możliwość relokacji w ramach lokalnych oddziałów
• Po zakończeniu projektu możliwość zaangażowania w kolejny projekt
• Wdrożenie oraz współpraca z dedykowanym Competences Managerem
• Opieka medyczna (Medicover)
• Opieka stomatologiczna (Medicover)
• Platforma Medicover Benefits
• Karta sportowa (Medicover)
• Program poleceń
• Wyprawka dla nowonarodzonego dziecka pracownika
• Ubezpieczenie grupowe na życie
• Program emerytalny
• Współpraca: B2B lub umowa zlecenia (UZ)
• Dostęp do certyfikacji (np. Google, ISTQB)
• Dostęp do branżowych wydarzeń
• Knowledge Sharing Program
• Dostęp do programu poleceń