Kafka Engineer (K/M/X)
⚲ Wrocław
16 800 - 21 000 PLN netto (B2B)
Wymagania
- Apache Kafka
- Confluent Platform Enterprise
- AWS
- Terraform
Opis stanowiska
Poszukujemy osoby na stanowisko Kafka Engineer, która dołączy do projektu związanego z budową i rozwojem hybrydowej platformy Apache Kafka łączącej środowisko on-premise z AWS. Rola ma charakter infrastrukturalno-platformowy i obejmuje m.in. architekturę, replikację danych, automatyzację, bezpieczeństwo oraz monitoring środowiska Kafka.
Zakres obowiązków
• Projektowanie i rozwój hybrydowego środowiska Kafka on-premise – AWS.
• Konfiguracja i utrzymanie komponentów Confluent Platform.
• Budowa i konfiguracja klastrów Kafka w AWS.
• Konfiguracja replikacji pomiędzy klastrami z wykorzystaniem MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Zapewnienie spójności danych oraz odpowiednich opóźnień pomiędzy środowiskami.
• Tworzenie i rozwój pipeline’ów CI/CD.
• Automatyzacja infrastruktury z wykorzystaniem Terraform.
• Konfiguracja monitoringu i observability.
• Tworzenie runbooków, alertów oraz SLA/SLO.
• Troubleshooting, obsługa incydentów i performance tuning.
• Współpraca z zespołami technicznymi oraz dzielenie się wiedzą.
Wymagania
• Minimum 4 lata komercyjnego doświadczenia z Apache Kafka.
• Bardzo dobra znajomość Confluent Platform Enterprise oraz Confluent Cloud.
• Praktyczne doświadczenie w migracji lub replikacji klastrów Kafka z wykorzystaniem MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Praktyczna znajomość AWS, w szczególności VPC, IAM, EC2, EKS, MSK, S3, KMS i Secrets Manager.
• Doświadczenie w budowie lub utrzymaniu środowisk hybrydowych on-premise – AWS.
• Bardzo dobra znajomość Terraform i Infrastructure-as-Code.
• Doświadczenie z narzędziami CI/CD, np. GitHub Actions, GitLab CI lub Jenkins.
• Znajomość Python i Bash.
• Doświadczenie z Prometheus, Grafana i Confluent Control Center oraz znajomość OpenTelemetry lub Elastic Stack.
• Znajomość zagadnień bezpieczeństwa Kafka: TLS, SASL, ACL, RBAC oraz szyfrowanie danych.
• Doświadczenie w pracy w Scrum/Kanban oraz z Jira i Confluence.
• Mile widziane: Ansible, Terratest, tfsec, automatyzacja testów integracyjnych oraz doświadczenie w mentoringu lub prowadzeniu warsztatów technicznych.
Zakres obowiązków
• Projektowanie i rozwój hybrydowego środowiska Kafka on-premise – AWS.
• Konfiguracja i utrzymanie komponentów Confluent Platform.
• Budowa i konfiguracja klastrów Kafka w AWS.
• Konfiguracja replikacji pomiędzy klastrami z wykorzystaniem MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Zapewnienie spójności danych oraz odpowiednich opóźnień pomiędzy środowiskami.
• Tworzenie i rozwój pipeline’ów CI/CD.
• Automatyzacja infrastruktury z wykorzystaniem Terraform.
• Konfiguracja monitoringu i observability.
• Tworzenie runbooków, alertów oraz SLA/SLO.
• Troubleshooting, obsługa incydentów i performance tuning.
• Współpraca z zespołami technicznymi oraz dzielenie się wiedzą.
Wymagania
• Minimum 4 lata komercyjnego doświadczenia z Apache Kafka.
• Bardzo dobra znajomość Confluent Platform Enterprise oraz Confluent Cloud.
• Praktyczne doświadczenie w migracji lub replikacji klastrów Kafka z wykorzystaniem MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Praktyczna znajomość AWS, w szczególności VPC, IAM, EC2, EKS, MSK, S3, KMS i Secrets Manager.
• Doświadczenie w budowie lub utrzymaniu środowisk hybrydowych on-premise – AWS.
• Bardzo dobra znajomość Terraform i Infrastructure-as-Code.
• Doświadczenie z narzędziami CI/CD, np. GitHub Actions, GitLab CI lub Jenkins.
• Znajomość Python i Bash.
• Doświadczenie z Prometheus, Grafana i Confluent Control Center oraz znajomość OpenTelemetry lub Elastic Stack.
• Znajomość zagadnień bezpieczeństwa Kafka: TLS, SASL, ACL, RBAC oraz szyfrowanie danych.
• Doświadczenie w pracy w Scrum/Kanban oraz z Jira i Confluence.
• Mile widziane: Ansible, Terratest, tfsec, automatyzacja testów integracyjnych oraz doświadczenie w mentoringu lub prowadzeniu warsztatów technicznych.
🔍 Dekoder Ogłoszenia
🔴
budowa i rozwój hybrydowej platformy Apache Kafka łączącej środowisko on-premise z AWS
Może oznaczać zarówno budowę od zera, jak i rozbudowę istniejącej, potencjalnie skomplikowanej i niedopracowanej infrastruktury.
🟡
Rola ma charakter infrastrukturalno-platformowy
Oznacza to, że będziesz odpowiedzialny za podstawy działania systemu, co może wiązać się z rozwiązywaniem problemów na niższym poziomie niż typowy developer.
🔴
Zapewnienie spójności danych oraz odpowiednich opóźnień pomiędzy środowiskami
Może oznaczać ciągłą walkę z problemami z synchronizacją i wydajnością w złożonym środowisku hybrydowym.
🟡
Tworzenie i rozwój pipeline’ów CI/CD
W kontekście infrastruktury, może to oznaczać budowanie i utrzymanie skomplikowanych procesów deploymentu dla samej platformy, a nie tylko aplikacji na niej działających.
🔴
Troubleshooting, obsługa incydentów i performance tuning
Spodziewaj się częstych awarii i konieczności szybkiego reagowania na problemy, często pod presją czasu.