Senior Data Engineer (ETL / GCP)

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Senior Data Engineer (ETL / GCP)

Szczegóły współpracy
📍 Model współpracy: Hybryda - Warszawa
💼 Forma współpracy: B2B
💰 Stawka: 160 PLN/h netto
⏳ Okres współpracy: ponad 12 miesięcy

O projekcie
Poszukujemy Senior Data Engineera do zespołu, który rozwija procesy zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud i systemów kampanijnych. Budujemy rozwiązania, które przetwarzają duże wolumeny danych w trybie batch i w czasie zbliżonym do rzeczywistego. Z naszych danych powstają datamarty, analizy, raporty, segmentacje klientów oraz spersonalizowane oferty i kampanie. Jeśli chcesz budować niezawodne pipeline’y danych w środowisku hybrydowym i chmurowym, zapraszamy do kontaktu!

Twoje zadania:

• Projektowanie, budowa i rozwój pipeline’ów ETL/ELT działających w trybie batch i streaming.

• Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformę kampanijną.

• Integracja danych z systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.

• Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie warstw danych i datamartów tematycznych.

• Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.

• Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście.

• Budowa przepływów zdarzeniowych z wykorzystaniem Kafki lub Pub/Sub.

• Dbanie o jakość, kompletność, spójność i terminowość danych.

• Optymalizacja wydajności procesów i kosztów przetwarzania w GCP.

• Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania.

• Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania.

• Testy, wsparcie wdrożeń, diagnozowanie incydentów i utrzymanie rozwiązań.

• Tworzenie dokumentacji technicznej i rozwój rozwiązań zgodnie z podejściem DevSecOps.

Wymagania:

• Doświadczenie na poziomie senior w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych.

• Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.

• Praktyczna znajomość BigQuery: projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów.

• Doświadczenie w programowaniu w Pythonie i/lub Ruście.

• Znajomość przetwarzania danych w trybie batch i streaming.

• Znajomość architektury sterowanej zdarzeniami (Kafka lub Pub/Sub).

• Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.

• Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.

• Znajomość Linuxa w stopniu pozwalającym na samodzielną pracę i diagnozowanie problemów.

• Umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne.

Mile widziane:

• Doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage.

• Znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow.

• Doświadczenie z Kubernetes, Dockerem i CI/CD.

• Znajomość Informatica PowerCenter lub innych narzędzi ETL.

• Doświadczenie w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym.

• Znajomość systemów kampanijnych, segmentacji klientów lub marketing automation.

• Doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability.

• Znajomość zagadnień bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych.

• Znajomość AutomateNOW.

Czego szukamy poza technologią?

• Samodzielności, odpowiedzialności i konsekwencji w realizacji zadań.

• Dbałości o jakość, niezawodność i utrzymywalność rozwiązań.

• Dobrej organizacji pracy i umiejętności szybkiego przyswajania wiedzy.

• Umiejętności efektywnej współpracy w zespole.

• Doświadczenia we współpracy z klientem biznesowym.

• Dobrych umiejętności komunikacyjnych i analitycznego podejścia do problemów.