Data Platform Engineer (Kafka / Java)

Informacje organizacyjne

• Lokalizacja biura: Wrocław
• Tryb realizacji usług: zdalnie + spotkania w biurze raz w miesiącu
• Forma współpracy: kontrakt B2B, zaangażowanie stabilne, długofalowe
• Stawka: 120–160 zł/h netto na FV
• Sektor: bankowość

Projekt

Rozwój nowoczesnej platformy danych odpowiedzialnej za integrację, przetwarzanie i udostępnianie danych z wielu systemów źródłowych, z wykorzystaniem Apache Kafka, Kafka Connect, Java/Spring Boot, MongoDB, GraphQL oraz Apache Iceberg.

Zakres zadań

• Analiza wymagań biznesowych i technicznych oraz przekładanie ich na rozwiązania IT.
• Współpraca z analitykami biznesowymi i zespołami IT w celu zrozumienia procesów i przepływów danych.
• Projektowanie i dokumentowanie mapowań danych pomiędzy systemami źródłowymi, platformą streamingową i warstwą ODS.
• Projektowanie i rozwój rozwiązań opartych na Apache Kafka, w tym topiców, partycjonowania i schematów danych.
• Rozwój mikroserwisów w Java/Spring Boot, w tym producentów i konsumentów Kafka oraz rozwiązań do przetwarzania strumieniowego.
• Konfiguracja i rozwój integracji z wykorzystaniem Kafka Connect, w tym tworzenie własnych SMT i konwerterów danych.
• Projektowanie modeli danych i kolekcji w MongoDB oraz optymalizacja zapytań i indeksów.
• Projektowanie i rozwój usług GraphQL, w tym schematów i resolverów udostępniających dane z MongoDB.
• Praca z Apache Iceberg oraz definiowanie struktur tabel i metadanych.
• Monitorowanie i diagnozowanie przepływów danych oraz optymalizacja rozwiązań pod kątem wydajności i kosztów.
• Tworzenie dokumentacji funkcjonalnej i technicznej oraz udział w code review i dzieleniu się wiedzą.

Oczekiwania

• Min. 3 lata doświadczenia w środowiskach produkcyjnych.
• Bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, partycjonowania, replikacji i schematów danych.
• Bardzo dobra znajomość Kafka Streams oraz ksqlDB/kSQL.
• Doświadczenie w konfiguracji i rozwoju Kafka Connect, w tym pracy z gotowymi i własnymi konektorami.
• Bardzo dobra znajomość Java oraz Spring Boot.
• Znajomość MongoDB, w tym projektowania schematów dokumentowych, indeksowania i optymalizacji zapytań.
• Doświadczenie w pracy z GraphQL, w tym definiowaniu schematów i implementacji resolverów.
• Podstawowa znajomość Apache Iceberg, w tym formatu tabel i zarządzania metadanymi.
• Znajomość Java i Python oraz umiejętność tworzenia skryptów.
• Znajomość Prometheus, Grafana i OpenTelemetry w obszarze monitoringu i observability.
• Znajomość zagadnień bezpieczeństwa, w tym TLS, SASL, ACL oraz szyfrowania danych w spoczynku i tranzycie.
• Umiejętność analizy wymagań, mapowania danych oraz tworzenia dokumentacji funkcjonalnej i technicznej.

Oferujemy

• Długofalową, stabilną współpracę w oparciu o kontrakt B2B.
• Szansę na rozwój w dużej strukturze i bezpośredni kontakt z Managerem zespołu.
• Pracę w dojrzałym, globalnym środowisku IT, w którym respektowane są metodyki zwinne.
• Dopłatę do karty MultiSport oraz ubezpieczenia.
• Sprawny proces rekrutacyjny w formie wideokonferencji, obejmujący maksymalnie 2 spotkania: pierwsze z osobą z zespołu, drugie z Managerem.