Java Developer / Data Engineer

Poszukiwany jest Java Developer / Kafka Engineer do projektu dla polskiego klienta z sektora bankowego. Rola koncentruje się na tworzeniu backendowych rozwiązań opartych na Javie, Spring Boot oraz architekturze event-driven, z intensywnym wykorzystaniem ekosystemu Apache Kafka do przetwarzania, transformacji i dystrybucji danych pomiędzy systemami.

Projekt obejmuje rozwój mikroserwisów obsługujących zdarzenia Kafka, tworzenie aplikacji wykorzystujących Kafka Streams i kSQL, konfigurację konektorów Kafka Connect oraz budowę warstw dostępu do danych z wykorzystaniem m.in. MongoDB, GraphQL i Apache Iceberg. Istotnym elementem pracy jest również projektowanie schematów danych, optymalizacja przepływów oraz zapewnienie odpowiedniej obserwowalności i niezawodności całego rozwiązania.

Poszukiwany jest przede wszystkim doświadczony Java Developer, który dobrze rozumie pracę z danymi i systemami event-driven, a Kafka jest dla niego naturalnym elementem architektury backendowej, a nie wyłącznie narzędziem infrastrukturalnym. Ważna będzie umiejętność tworzenia produkcyjnych mikroserwisów w Spring Boot, pracy z dużą liczbą zdarzeń i integracji oraz diagnozowania problemów związanych z przetwarzaniem danych. Ze względu na współpracę z polskim klientem bankowym istotna jest również płynna i swobodna komunikacja w języku polskim.

Co będzie należało do Twoich głównych zadań?

• Projektowanie i rozwój rozwiązań event-driven z wykorzystaniem Apache Kafka, Kafka Connect, Kafka Streams oraz kSQL
• Opracowywanie zarówno prototypów, jak i pełnych rozwiązań produkcyjnych
• Definiowanie schematów danych w formatach Avro, Protobuf oraz JSON Schema oraz zarządzanie ich wersjonowaniem
• Tworzenie mikroserwisów w Spring Boot obsługujących zdarzenia Kafka jako producenci, konsumenci oraz aplikacje stream processing
• Budowa warstwy API GraphQL z wykorzystaniem Quarkus/GraalVM, udostępniającej dane przechowywane w MongoDB
• Konfiguracja oraz rozwój konektorów Kafka Connect source/sink do MongoDB, S3, Apache Iceberg oraz innych baz i systemów
• Tworzenie transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów
• Automatyzacja tworzenia konfiguracji topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams
• Implementacja monitoringu i metryk z wykorzystaniem Prometheus i Grafana
• Rozwój logowania z wykorzystaniem Vector i ELK
• Implementacja śledzenia przepływu zdarzeń przy użyciu OpenTelemetry i Dynatrace
• Diagnozowanie problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem danych
• Optymalizacja i tuning konfiguracji Kafka, m.in. w zakresie partycji, retencji i poziomów ISR
• Współpraca z Data Engineerami, DevOpsami oraz analitykami w ramach zespołu pracującego w modelu Agile
• Dokumentowanie rozwiązań oraz dzielenie się wiedzą poprzez prowadzenie warsztatów technicznych

Jakie skille, doświadczenie i mindset są poszukiwane?

• Minimum 3 lata praktycznego doświadczenia w pracy ze środowiskami produkcyjnymi
• Bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji
• Biegła znajomość Kafka Streams oraz kSQL
• Doświadczenie w konfiguracji i rozwijaniu konektorów Kafka Connect, zarówno gotowych, jak i własnych
• Biegła znajomość Java
• Bardzo dobra znajomość frameworku Spring, w szczególności Spring Boot, Cloud, Security oraz Data
• Doświadczenie w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań
• Doświadczenie w implementacji serwisów GraphQL, definiowaniu schematów i tworzeniu resolverów
• Podstawowa znajomość formatów tabel oraz zarządzania metadanymi
• Praktyczna znajomość Java i Python
• Doświadczenie z narzędziami monitoringu i observability: Prometheus, Grafana oraz OpenTelemetry
• Znajomość zagadnień bezpieczeństwa, w tym TLS, SASL, ACL oraz szyfrowania danych w spoczynku i tranzycie
• Doświadczenie w pracy w modelu Scrum lub Kanban
• Znajomość Jira i Confluence
• Umiejętność samodzielnego analizowania oraz diagnozowania problemów związanych z przetwarzaniem i przepływem danych
• Płynna znajomość języka polskiego umożliwiająca swobodną komunikację w projekcie

Co możemy Ci zaoferować?

• Współpracę w oparciu o kontrakt B2B
• Pracę zdalną z jedną wizytą w biurze we Wrocławiu w miesiącu
• Udział w realizowanym już projekcie dla polskiego klienta z sektora bankowego
• Pracę w zespole Data Platform
• Możliwość rozwijania rozwiązań opartych na architekturze event-driven
• Pracę z rozbudowanym ekosystemem obejmującym Apache Kafka, Spring Boot, MongoDB, GraphQL i Apache Iceberg