Kafka Engineer

Poszukiwany jest Mid/Senior Kafka Engineer do projektu Data Platform, którego kluczowym elementem jest budowa hybrydowego środowiska Kafka łączącego klastry on-premise oraz AWS.

Projekt jest w fazie realizacji i obejmuje budowę rozwiązania Kafka w chmurze AWS, implementację replikacji danych między środowiskami on-premise i cloud oraz rozwój procesów CI/CD i Infrastructure-as-Code. Środowisko wykorzystuje m.in. Apache Kafka, Confluent Platform, Confluent Cloud, AWS MSK, EKS, Terraform, Ansible, Prometheus i Grafana.

Rola wymaga bardzo dobrej znajomości architektury Kafka oraz samodzielnego projektowania i rozwoju złożonych środowisk hybrydowych. Ważne są doświadczenie infrastrukturalne i automatyzacyjne, znajomość replikacji, bezpieczeństwa, monitoringu i optymalizacji wydajności, a także współpraca z Data Engineerami, DevOpsami i zespołami Security oraz mentoring mniej doświadczonych osób.

Główne zadania

• Projektowanie hybrydowej topologii Apache Kafka on-premise ↔ AWS
• Budowa i rozwój rozwiązania Kafka w środowisku AWS
• Tworzenie i konfiguracja klastrów Kafka, AWS MSK oraz Confluent Cloud
• Dobór i konfiguracja komponentów Confluent Platform, m.in. Schema Registry, Flink, Control Center i Tableflow
• Implementacja replikacji między klastrami z użyciem MirrorMaker 2, Cluster Linking i Confluent Replicator
• Zapewnianie spójności danych i niskich opóźnień transferu między środowiskami
• Projektowanie i rozwój pipeline’ów CI/CD dla wdrożeń Kafka, schematów i aplikacji konsumenckich
• Implementacja i rozwój Infrastructure-as-Code w Terraform, w tym wersjonowanie, testowanie planów i automatyzacja wdrożeń
• Automatyzacja procesów konfiguracyjnych z użyciem Ansible
• Implementacja i rozwój monitoringu z użyciem Prometheus, Grafana, Confluent Control Center, OpenTelemetry i Elastic Stack
• Automatyzacja testów integracyjnych środowiska Kafka
• Tworzenie i utrzymanie runbooków, alertów oraz SLA/SLO
• Rozwiązywanie incydentów podczas budowy rozwiązania
• Optymalizacja wydajności i tuning konfiguracji Kafka
• Współpraca z Data Engineerami, DevOpsami i specjalistami Security
• Mentoring mniej doświadczonych członków zespołu oraz prowadzenie warsztatów technicznych

Wymagania

• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Kafka
• Bardzo dobra znajomość Confluent Platform Enterprise oraz Confluent Cloud
• Doświadczenie w projektowaniu, budowaniu i utrzymywaniu środowisk hybrydowych
• Praktyczne doświadczenie w migracji i replikacji klastrów z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Praktyczna znajomość AWS, w szczególólności VPC, IAM, EC2, EKS, MSK, S3, KMS oraz Secrets Manager
• Doświadczenie z Terraform, w tym tworzeniem modułów i automatyzacją infrastruktury
• Znajomość Terratest oraz tfsec
• Praktyczna znajomość Ansible
• Doświadczenie w tworzeniu i rozwijaniu pipeline’ów GitHub Actions, GitLab CI lub Jenkins
• Doświadczenie w automatyzacji testów integracyjnych dla Kafka
• Znajomość Python i Bash
• Doświadczenie z Prometheus, Grafana, Confluent Control Center, OpenTelemetry oraz Elastic Stack
• Bardzo dobra znajomość TLS, SASL, ACL, RBAC oraz szyfrowania danych w spoczynku i tranzycie
• Doświadczenie w pracy w Scrum lub Kanban
• Znajomość Jira i Confluence
• Umiejętność samodzielnego analizowania i rozwiązywania złożonych problemów infrastrukturalnych i wydajnościowych

Oferta

• Współpraca w oparciu o kontrakt B2B
• Praca zdalna z jedną wizytą w biurze we Wrocławiu w miesiącu
• Udział w rozwijanym projekcie z obszaru Data Platform
• Praca przy budowie hybrydowej infrastruktury Kafka on-premise ↔ AWS
• Możliwość pracy z rozbudowanym środowiskiem obejmującym Confluent Platform, Confluent Cloud oraz AWS