Kafka Engineer

Kafka EngineerPoszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .Zakres obowiązkówArchitektura i projektowanieProjektowanie hybrydowej topologii Kafki (on-prem ↔ AWS).Dobór i konfiguracja komponentów Confluent Platform (Schema Registry,Flink, Control Center, Tableflow).Budowa środowiska wTworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnychAWSReplikacja i synchronizacjaCI/CD & IaCOperacje i wsparcieWspółpraca i mentoringvzasobów.Implementacja monitoringu (Prometheus/Grafana)Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator.Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami.Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich.Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply.Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO.Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji.Praca w zespole Data Platform (Data Engineers, DevOps, Security).Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.Wymagania techniczne (must-have) Minimum 4 lata doświadczenia z Apache Kafka.Biegła znajomość Confluent Platform (Enterprise) oraz ConfluentKafka / Confluent Cloud.Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).Chmura AWSPraktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, SecretsDoświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS).Infrastructure-as-Code Terraform (preferowane) – pisanie modułów, testy (terratest, tfsec).Ansible.CI/CD Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).Automatyzacja testów integracyjnych dla Kafki.Programowanie / Scripting Monitoring & ObservabilityPython, Ansible, Bash.Prometheus + Grafana, Confluent Control Center, OpenTelemetry,Elastic Stack.Bezpieczeństwo Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.Metodyki Agile Praca w Scrum / Kanban, znajomość Jira/Confluence.