Kafka Engineer (K/M/X)
⚲ Wrocław
16 800 - 21 000 PLN netto (B2B)
Wymagania
- Apache Kafka
- Confluent Platform Enterprise
- AWS
- Terraform
Opis stanowiska
Poszukujemy osoby na stanowisko Kafka Engineer, która dołączy do projektu związanego z budową i rozwojem hybrydowej platformy Apache Kafka łączącej środowisko on-premise z AWS. Rola ma charakter infrastrukturalno-platformowy i obejmuje m.in. architekturę, replikację danych, automatyzację, bezpieczeństwo oraz monitoring środowiska Kafka.
Zakres obowiązków
• Projektowanie i rozwój hybrydowego środowiska Kafka on-premise – AWS.
• Konfiguracja i utrzymanie komponentów Confluent Platform.
• Budowa i konfiguracja klastrów Kafka w AWS.
• Konfiguracja replikacji pomiędzy klastrami z wykorzystaniem MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Zapewnienie spójności danych oraz odpowiednich opóźnień pomiędzy środowiskami.
• Tworzenie i rozwój pipeline’ów CI/CD.
• Automatyzacja infrastruktury z wykorzystaniem Terraform.
• Konfiguracja monitoringu i observability.
• Tworzenie runbooków, alertów oraz SLA/SLO.
• Troubleshooting, obsługa incydentów i performance tuning.
• Współpraca z zespołami technicznymi oraz dzielenie się wiedzą.
Wymagania
• Minimum 4 lata komercyjnego doświadczenia z Apache Kafka.
• Bardzo dobra znajomość Confluent Platform Enterprise oraz Confluent Cloud.
• Praktyczne doświadczenie w migracji lub replikacji klastrów Kafka z wykorzystaniem MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Praktyczna znajomość AWS, w szczególności VPC, IAM, EC2, EKS, MSK, S3, KMS i Secrets Manager.
• Doświadczenie w budowie lub utrzymaniu środowisk hybrydowych on-premise – AWS.
• Bardzo dobra znajomość Terraform i Infrastructure-as-Code.
• Doświadczenie z narzędziami CI/CD, np. GitHub Actions, GitLab CI lub Jenkins.
• Znajomość Python i Bash.
• Doświadczenie z Prometheus, Grafana i Confluent Control Center oraz znajomość OpenTelemetry lub Elastic Stack.
• Znajomość zagadnień bezpieczeństwa Kafka: TLS, SASL, ACL, RBAC oraz szyfrowanie danych.
• Doświadczenie w pracy w Scrum/Kanban oraz z Jira i Confluence.
• Mile widziane: Ansible, Terratest, tfsec, automatyzacja testów integracyjnych oraz doświadczenie w mentoringu lub prowadzeniu warsztatów technicznych.
Zakres obowiązków
• Projektowanie i rozwój hybrydowego środowiska Kafka on-premise – AWS.
• Konfiguracja i utrzymanie komponentów Confluent Platform.
• Budowa i konfiguracja klastrów Kafka w AWS.
• Konfiguracja replikacji pomiędzy klastrami z wykorzystaniem MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Zapewnienie spójności danych oraz odpowiednich opóźnień pomiędzy środowiskami.
• Tworzenie i rozwój pipeline’ów CI/CD.
• Automatyzacja infrastruktury z wykorzystaniem Terraform.
• Konfiguracja monitoringu i observability.
• Tworzenie runbooków, alertów oraz SLA/SLO.
• Troubleshooting, obsługa incydentów i performance tuning.
• Współpraca z zespołami technicznymi oraz dzielenie się wiedzą.
Wymagania
• Minimum 4 lata komercyjnego doświadczenia z Apache Kafka.
• Bardzo dobra znajomość Confluent Platform Enterprise oraz Confluent Cloud.
• Praktyczne doświadczenie w migracji lub replikacji klastrów Kafka z wykorzystaniem MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Praktyczna znajomość AWS, w szczególności VPC, IAM, EC2, EKS, MSK, S3, KMS i Secrets Manager.
• Doświadczenie w budowie lub utrzymaniu środowisk hybrydowych on-premise – AWS.
• Bardzo dobra znajomość Terraform i Infrastructure-as-Code.
• Doświadczenie z narzędziami CI/CD, np. GitHub Actions, GitLab CI lub Jenkins.
• Znajomość Python i Bash.
• Doświadczenie z Prometheus, Grafana i Confluent Control Center oraz znajomość OpenTelemetry lub Elastic Stack.
• Znajomość zagadnień bezpieczeństwa Kafka: TLS, SASL, ACL, RBAC oraz szyfrowanie danych.
• Doświadczenie w pracy w Scrum/Kanban oraz z Jira i Confluence.
• Mile widziane: Ansible, Terratest, tfsec, automatyzacja testów integracyjnych oraz doświadczenie w mentoringu lub prowadzeniu warsztatów technicznych.
🔍 Dekoder Ogłoszenia
🔴
budową i rozwojem hybrydowej platformy Apache Kafka łączącej środowisko on-premise z AWS
Może oznaczać zarówno projektowanie od podstaw, jak i rozbudowę istniejącej, potencjalnie skomplikowanej i nieoptymalnej infrastruktury.
🟡
Rola ma charakter infrastrukturalno-platformowy
Oznacza, że będziesz głównie zajmować się utrzymaniem i rozwojem samej platformy Kafka, a nie bezpośrednio aplikacjami, które z niej korzystają.
🔴
Zapewnienie spójności danych oraz odpowiednich opóźnień pomiędzy środowiskami
Może oznaczać ciągłe rozwiązywanie problemów z synchronizacją danych i wydajnością w złożonym, hybrydowym środowisku.
🔴
Tworzenie i rozwój pipeline’ów CI/CD
Może oznaczać zarówno budowanie od zera, jak i utrzymanie i rozbudowę istniejących, potencjalnie nieefektywnych procesów.
🔴
Troubleshooting, obsługa incydentów i performance tuning
Sugestia, że będziesz głównie reagować na problemy i optymalizować istniejące, a niekoniecznie mieć dużo czasu na proaktywny rozwój.