Senior Data Engineer

Oferujemy

• Stawka: 140–170 zł/h netto + VAT, B2B
• Projekt długoterminowy: 12+ miesięcy

Opis

Poszukiwany jest doświadczony Data Engineer do zespołu odpowiedzialnego za projektowanie i rozwój nowoczesnych rozwiązań w obszarze Data Lake oraz Data Warehouse. Stanowisko obejmuje budowę i rozwój procesów zasilania danych, projektowanie architektury danych oraz tworzenie wydajnych rozwiązań wspierających potrzeby biznesowe. Praca z nowoczesnym ekosystemem danych, technologiami chmurowymi i rozwiązaniami opartymi na modelu DevSecOps.

Zakres obowiązków

• Projektowanie i rozwój rozwiązań klasy Data Lake i Data Warehouse.
• Tworzenie i rozwój procesów ETL/ELT do zasilania danych w trybie online i offline.
• Projektowanie logicznych i fizycznych modeli danych.
• Analiza danych i przygotowywanie rozwiązań odpowiadających na wymagania biznesowe.
• Optymalizacja zapytań SQL oraz tuning relacyjnych baz danych i hurtowni danych.
• Budowa i rozwój pipeline’ów danych w środowiskach on-premise oraz Google Cloud Platform.
• Tworzenie przepływów danych z wykorzystaniem narzędzi on-premise i usług GCP.
• Udział w projektowaniu i implementacji rozwiązań opartych na architekturze sterowanej zdarzeniami.
• Współpraca przy testach, wdrożeniach i utrzymaniu procesów zasilania danych.
• Analiza i rozwiązywanie incydentów oraz wsparcie utrzymania wdrożonych rozwiązań.
• Praca zgodnie z dobrymi praktykami DevSecOps.

Wymagania

• Praktyczne doświadczenie w projektowaniu i budowie nowoczesnych hurtowni danych.
• Bardzo dobra znajomość procesów ETL/ELT oraz budowy pipeline’ów danych.
• Ekspercka znajomość relacyjnych baz danych Oracle oraz PostgreSQL, obejmująca projektowanie, budowę i optymalizację baz danych.
• Doświadczenie w pracy z Google BigQuery.
• Znajomość Informatica PowerCenter.
• Doświadczenie z technologiami wykorzystywanymi w architekturze sterowanej zdarzeniami, np. Apache Kafka i Google Pub/Sub.
• Bardzo dobra znajomość systemu Linux.

Mile widziane

• Python
• Apache Airflow
• Apache Spark
• Rust
• AutomatenNow