Senior Kafka Engineer

Quick Facts

• Tryb pracy: 1 dzień w miesiącu w biurze we Wrocławiu, reszta zdalnie
• Obszar: Data Platform

Description

Budowa hybrydowego środowiska Kafka łączącego klastry on-premise z chmurą AWS. Zakres obejmuje wdrożenia w AWS, implementację replikacji danych między środowiskami oraz stworzenie procesów CI/CD i Infrastructure as Code. Współpraca z inżynierami danych, specjalistami DevOps i ekspertami od bezpieczeństwa.

Responsibilities

• Projektowanie hybrydowej topologii Kafki łączącej środowisko on-premise z AWS
• Dobór i konfiguracja komponentów Confluent Platform (Schema Registry, Flink, Control Center, Tableflow)
• Tworzenie klastrów Kafka w AWS (MSK, Confluent Cloud) oraz wdrażanie monitoringu opartego o Prometheus i Grafana
• Konfiguracja narzędzi do replikacji i synchronizacji danych (MirrorMaker 2, Cluster Linking, Replicator) z zachowaniem spójności i niskich opóźnień
• Definiowanie procesów CI/CD dla wdrożeń Kafki, schematów i aplikacji konsumenckich
• Implementacja infrastruktury w modelu IaC przy użyciu narzędzia Terraform
• Tworzenie run-booków, obsługa incydentów, optymalizacja wydajności oraz strojenie konfiguracji
• Dzielenie się wiedzą i mentoring techniczny mniej doświadczonych członków zespołu

Requirements

• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Kafka
• Biegła znajomość Confluent Platform w wersji Enterprise oraz Confluent Cloud
• Praktyczne doświadczenie w migracji i replikacji klastrów przy użyciu MirrorMaker 2, Cluster Linking lub Confluent Replicator
• Dobra znajomość chmury AWS i jej usług (VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets Manager)
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych
• Umiejętność pisania kodu infrastruktury w Terraform oraz znajomość Ansible
• Praktyczna znajomość narzędzi CI/CD (GitHub Actions, GitLab CI lub Jenkins)
• Umiejętność tworzenia skryptów w językach Python i Bash
• Doświadczenie z narzędziami do monitoringu (Prometheus, Grafana, OpenTelemetry, Elastic Stack)
• Znajomość zagadnień bezpieczeństwa (TLS, SASL, ACL, RBAC, szyfrowanie danych)
• Doświadczenie w pracy w środowisku zwinnym (Scrum, Kanban)

Benefits

• Praca hybrydowa: 1 dzień w miesiącu w biurze we Wrocławiu, reszta zdalnie