Kafka Engineer
⚲ Wrocław
23 100 - 27 300 PLN netto (B2B)
Wymagania
- Apache Kafka
- Confluent Platform
- Confluent
- AWS
- Ansible
- CI/CD
- Python
- Bash
- Confluent Cloud
Opis stanowiska
Kafka Engineer
Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:
Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).
Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).
Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .
Zakres obowiązków
• Architektura i projektowanie
• Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS).
• Dobór i konfiguracja komponentów Confluent Platform (Schema Registry,
• Flink, Control Center, Tableflow).
• Budowa środowiska w
• Tworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych
• AWS
• Replikacja i synchronizacja
• CI/CD & IaC
• Operacje i wsparcie
• Współpraca i mentoringvzasobów.
• Implementacja monitoringu (Prometheus/Grafana)
• Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator.
• Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami.
• Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich.
• Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply.
• Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO.
• Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji.
• Praca w zespole Data Platform (Data Engineers, DevOps, Security).
• Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.
Wymagania techniczne (must-have)
• Minimum 4 lata doświadczenia z Apache Kafka.
• Biegła znajomość Confluent Platform (Enterprise) oraz Confluent
• Kafka / Confluent Cloud.
• Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).
• Chmura AWS
• Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS).
• Infrastructure-as-Code
• Terraform (preferowane) – pisanie modułów, testy (terratest, tfsec).
• Ansible.
• CI/CD
• Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).
• Automatyzacja testów integracyjnych dla Kafki.
• Programowanie / Scripting Monitoring & Observability
• Python, Ansible, Bash.
• Prometheus + Grafana, Confluent Control Center, OpenTelemetry,
• Elastic Stack.
• Bezpieczeństwo
• Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.
• Metodyki Agile
• Praca w Scrum / Kanban, znajomość Jira/Confluence.
Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:
Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).
Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).
Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .
Zakres obowiązków
• Architektura i projektowanie
• Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS).
• Dobór i konfiguracja komponentów Confluent Platform (Schema Registry,
• Flink, Control Center, Tableflow).
• Budowa środowiska w
• Tworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych
• AWS
• Replikacja i synchronizacja
• CI/CD & IaC
• Operacje i wsparcie
• Współpraca i mentoringvzasobów.
• Implementacja monitoringu (Prometheus/Grafana)
• Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator.
• Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami.
• Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich.
• Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply.
• Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO.
• Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji.
• Praca w zespole Data Platform (Data Engineers, DevOps, Security).
• Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.
Wymagania techniczne (must-have)
• Minimum 4 lata doświadczenia z Apache Kafka.
• Biegła znajomość Confluent Platform (Enterprise) oraz Confluent
• Kafka / Confluent Cloud.
• Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).
• Chmura AWS
• Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS).
• Infrastructure-as-Code
• Terraform (preferowane) – pisanie modułów, testy (terratest, tfsec).
• Ansible.
• CI/CD
• Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).
• Automatyzacja testów integracyjnych dla Kafki.
• Programowanie / Scripting Monitoring & Observability
• Python, Ansible, Bash.
• Prometheus + Grafana, Confluent Control Center, OpenTelemetry,
• Elastic Stack.
• Bezpieczeństwo
• Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.
• Metodyki Agile
• Praca w Scrum / Kanban, znajomość Jira/Confluence.
🔍 Dekoder Ogłoszenia
🔴
doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud
Oczekuje się, że kandydat będzie ekspertem w obu technologiach, co może oznaczać bardzo wąską specjalizację.
🔴
Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.)
Lista usług AWS jest przykładowa i może oznaczać, że kandydat będzie musiał nauczyć się i skonfigurować wiele różnych usług.
🔴
Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator)
Wymaga znajomości co najmniej jednej z tych technologii, ale może też oznaczać potrzebę pracy z kilkoma z nich jednocześnie.
🔴
Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS
Oznacza, że kandydat będzie odpowiedzialny nie tylko za samą Kafkę, ale także za infrastrukturę i procesy wdrażania.
🟡
Praca w zespole Data Platf
Skrót może sugerować, że zespół jest częścią większej struktury, co może oznaczać dodatkowe zależności i procesy.