Kafka Engineer
⚲ Wrocław
23 100 - 27 300 PLN netto (B2B)
Wymagania
- Apache Kafka
- Confluent Platform
- Confluent
- AWS
- Ansible
- CI/CD
- Python
- Bash
- Confluent Cloud
Opis stanowiska
Kafka Engineer
Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:
Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).
Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).
Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .
Zakres obowiązków
• Architektura i projektowanie
• Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS).
• Dobór i konfiguracja komponentów Confluent Platform (Schema Registry,
• Flink, Control Center, Tableflow).
• Budowa środowiska w
• Tworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych
• AWS
• Replikacja i synchronizacja
• CI/CD & IaC
• Operacje i wsparcie
• Współpraca i mentoringvzasobów.
• Implementacja monitoringu (Prometheus/Grafana)
• Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator.
• Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami.
• Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich.
• Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply.
• Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO.
• Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji.
• Praca w zespole Data Platform (Data Engineers, DevOps, Security).
• Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.
Wymagania techniczne (must-have)
• Minimum 4 lata doświadczenia z Apache Kafka.
• Biegła znajomość Confluent Platform (Enterprise) oraz Confluent
• Kafka / Confluent Cloud.
• Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).
• Chmura AWS
• Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS).
• Infrastructure-as-Code
• Terraform (preferowane) – pisanie modułów, testy (terratest, tfsec).
• Ansible.
• CI/CD
• Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).
• Automatyzacja testów integracyjnych dla Kafki.
• Programowanie / Scripting Monitoring & Observability
• Python, Ansible, Bash.
• Prometheus + Grafana, Confluent Control Center, OpenTelemetry,
• Elastic Stack.
• Bezpieczeństwo
• Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.
• Metodyki Agile
• Praca w Scrum / Kanban, znajomość Jira/Confluence.
Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:
Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).
Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).
Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .
Zakres obowiązków
• Architektura i projektowanie
• Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS).
• Dobór i konfiguracja komponentów Confluent Platform (Schema Registry,
• Flink, Control Center, Tableflow).
• Budowa środowiska w
• Tworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych
• AWS
• Replikacja i synchronizacja
• CI/CD & IaC
• Operacje i wsparcie
• Współpraca i mentoringvzasobów.
• Implementacja monitoringu (Prometheus/Grafana)
• Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator.
• Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami.
• Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich.
• Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply.
• Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO.
• Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji.
• Praca w zespole Data Platform (Data Engineers, DevOps, Security).
• Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.
Wymagania techniczne (must-have)
• Minimum 4 lata doświadczenia z Apache Kafka.
• Biegła znajomość Confluent Platform (Enterprise) oraz Confluent
• Kafka / Confluent Cloud.
• Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).
• Chmura AWS
• Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS).
• Infrastructure-as-Code
• Terraform (preferowane) – pisanie modułów, testy (terratest, tfsec).
• Ansible.
• CI/CD
• Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).
• Automatyzacja testów integracyjnych dla Kafki.
• Programowanie / Scripting Monitoring & Observability
• Python, Ansible, Bash.
• Prometheus + Grafana, Confluent Control Center, OpenTelemetry,
• Elastic Stack.
• Bezpieczeństwo
• Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.
• Metodyki Agile
• Praca w Scrum / Kanban, znajomość Jira/Confluence.
🔍 Dekoder Ogłoszenia
🔴
doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud
Oczekuje się, że kandydat będzie ekspertem w obu technologiach, a nie tylko podstawowo zaznajomiony.
🔴
Budowa rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.)
Może oznaczać konieczność pracy z wieloma różnymi usługami AWS, nie tylko z samym MSK.
🔴
Implementacja replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator)
Kandydat musi znać i umieć konfigurować co najmniej jedną z tych technologii, a najlepiej wszystkie.
🔴
Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS
Oczekuje się nie tylko znajomości narzędzi, ale także umiejętności ich wdrożenia od podstaw.
🟡
Praca w zespole Data Platf
Pełna nazwa zespołu nie jest podana, co może sugerować, że jest to nowy lub nie w pełni ustrukturyzowany zespół.