Data Engineer with GCP

Opis

Dołącz do projektu dużej organizacji z sektora finansowego obejmującego projektowanie, rozwój i utrzymanie batchowych oraz strumieniowych pipeline’ów danych w środowisku Google Cloud Platform. Będziesz pracować nad rozwiązaniami ETL/ELT, integracją danych, orkiestracją procesów oraz optymalizacją modeli danych i zapytań.

Technologie i narzędzia

• GCP
• Dataflow
• Apache Beam
• Airflow
• Cloud Composer
• Python
• SQL
• PostgreSQL
• PL/SQL
• BigQuery
• Cloud SQL
• Cloud Storage
• Pub/Sub
• Google Cloud SDK
• Git
• Jenkins

Wymagania

• Minimum 10 lat doświadczenia w branży IT, w tym silne doświadczenie w obszarze Data Engineering
• Praktyczne doświadczenie z usługami Google Cloud Platform (GCP)
• Umiejętność programowania w Pythonie
• Bardzo dobra znajomość SQL, PostgreSQL oraz PL/SQL
• Doświadczenie z Apache Beam
• Dobra znajomość Google Cloud SDK, API oraz skryptów
• Znajomość podstaw DevOps, w tym Git, CI/CD i procesów release’owych

Mile widziane

• Znajomość Dataproc
• Doświadczenie w pracy z dużymi, rozproszonymi zbiorami danych
• Doświadczenie w rozwiązaniach streamingowych i architekturach event-driven
• Doświadczenie w bezpośredniej współpracy z klientem i interesariuszami biznesowymi

Zadania

• Projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline’ów danych z wykorzystaniem usług GCP
• Budowanie procesów ETL/ELT przy użyciu Dataflow, Apache Beam i Python
• Projektowanie oraz optymalizacja modeli danych i zapytań w PostgreSQL i PL/SQL
• Tworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow / Cloud Composer
• Integracja danych z wielu źródeł oraz przygotowywanie ich do analityki i raportowania w BigQuery i Cloud SQL
• Zapewnianie jakości danych, walidacji, monitoringu oraz niezawodności pipeline’ów
• Optymalizacja wydajności procesów przetwarzania danych i zapytań SQL
• Współpraca z zespołami biznesowymi, analitycznymi i aplikacyjnymi przy przekładaniu wymagań na rozwiązania techniczne
• Stosowanie praktyk Agile i DevOps w zakresie CI/CD, testowania, wdrażania i utrzymania rozwiązań
• Praca z Git i Jenkins w obszarze procesów DevOps

Czego możesz się spodziewać

• Współpraca w oparciu o kontrakt B2B
• Praca hybrydowa: 8 dni w miesiącu z biura w Krakowie
• Profesjonalny proces rekrutacyjny – zawsze otrzymasz feedback niezależnie od decyzji