Data Platform Developer

O projekcie

Dla klienta z sektora bankowego, realizującego nowoczesne projekty Data & Technology, poszukiwany jest doświadczony Data Platform Developer do zespołu rozwijającego skalowalną platformę danych opartą na architekturze event-driven. Rola jest skierowana do osoby dobrze znającej Apache Kafka i Java, z doświadczeniem w budowaniu mikroserwisów oraz rozumieniem integracji danych, DevOps, monitoringu i środowisk produkcyjnych.

Twój zakres odpowiedzialności

• Projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka.
• Tworzenie mikroserwisów w Java / Spring Boot obsługujących zdarzenia Kafka.
• Praca z Kafka Streams oraz kSQL.
• Projektowanie i wersjonowanie schematów danych: Avro, Protobuf, JSON Schema.
• Konfiguracja i rozwój Kafka Connect, w tym konektorów source/sink.
• Integracja Kafki z MongoDB, S3, Apache Iceberg oraz innymi bazami i systemami.
• Implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów.
• Rozwój warstwy API GraphQL udostępniającej dane z MongoDB.
• Automatyzacja konfiguracji topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams.
• Wdrażanie rozwiązań z zakresu monitoringu i obserwowalności: Prometheus, Grafana, OpenTelemetry.
• Diagnostyka problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem danych.
• Optymalizacja konfiguracji Apache Kafka, m.in. partycji, retencji i mechanizmów replikacji.
• Współpraca z Data Engineerami, DevOpsami oraz analitykami w środowisku Agile.
• Dokumentowanie rozwiązań oraz dzielenie się wiedzą z zespołem.

Czego oczekujemy?

Must-have

• Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.
• Apache Kafka: znajomość brokerów, topiców, konsumentów, producentów, logów oraz mechanizmów replikacji.
• Biegła znajomość Kafka Streams i kSQL.
• Kafka Connect: doświadczenie w konfiguracji i rozwoju konektorów, zarówno gotowych, jak i własnych.

Wymagania

• Java i Spring: bardzo dobra znajomość frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security, Spring Data.
• MongoDB: doświadczenie w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań.
• GraphQL: doświadczenie w implementacji serwisów GraphQL, definiowaniu schematów i resolverów.
• Apache Iceberg: podstawowa znajomość formatu tabel oraz zarządzania metadanymi.
• Java i Python: praktyczna znajomość języków.
• Monitoring i observability: Prometheus, Grafana, OpenTelemetry.
• Bezpieczeństwo: znajomość TLS, SASL, ACL oraz szyfrowania danych w spoczynku i tranzycie.
• Agile: doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence.