Senior Data Platform Engineer (Kafka)

Poszukujemy doświadczonego Senior Data Platform Engineer (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven.

Poszukujemy osoby, która posiada praktyczne doświadczenie w budowie i rozwoju rozwiązań opartych na Apache Kafka, potrafi projektować skalowalne usługi w środowisku produkcyjnym oraz dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps.

Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.

Zakres obowiązków

• Projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka
• Budowa i rozwój mikroserwisów w Java oraz Spring Boot
• Implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL
• Projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink)
• Definiowanie oraz wersjonowanie schematów danych: Avro, Protobuf, JSON Schema
• Integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych
• Implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów
• Rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych
• Automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych na Kafka Streams
• Wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska
• Diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych
• Optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji
• Współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi
• Udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole

Wymagania

• Minimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych
• Minimum 5 lat praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych
• Bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji
• Praktyczne doświadczenie z Kafka Streams oraz kSQL
• Doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów
• Bardzo dobra znajomość Java oraz Spring Boot
• Doświadczenie w projektowaniu i budowie mikroserwisów
• Znajomość schematów danych Avro, Protobuf oraz JSON Schema
• Doświadczenie w pracy z MongoDB
• Praktyczna znajomość Prometheus, Grafana oraz zagadnień związanych z observability
• Znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych
• Doświadczenie w pracy w metodykach Agile (Scrum/Kanban)

Mile widziane

• Doświadczenie z GraphQL
• Znajomość Apache Iceberg
• Znajomość OpenTelemetry
• Praktyczna znajomość Python
• Doświadczenie w środowiskach chmurowych
• Doświadczenie w automatyzacji procesów DevOps i CI/CD