Senior Kafka Engineer
⚲ Wrocław
20 160 - 25 200 PLN netto (B2B)
Wymagania
- Apache Kafka
- Cloud
- AWS
- Terraform
- Python
- Bash
- CI/CD
- Prometheus
- Grafana
- Ansible (nice to have)
Opis stanowiska
O projekcie
Szukamy doświadczonego inżyniera do projektu realizowanego dla jednego z naszych klientów z sektora finansowego. Celem jest budowa hybrydowego środowiska Kafka, które połączy klastry on-premise z chmurą AWS. Projekt obejmuje wdrożenie rozwiązań Kafka w AWS, implementację replikacji danych między środowiskami oraz stworzenie procesów CI/CD i Infrastructure as Code. Dołączysz do zespołu Data Platform, gdzie będziesz współpracować z inżynierami danych, specjalistami DevOps i ekspertami od bezpieczeństwa.
Tryb pracy: 1 dzień w miesiącu w biurze we Wrocławiu, reszta zdalnie.
Twój zakres obowiązków
• Projektowanie hybrydowej topologii Kafki łączącej środowisko on-premise z AWS.
• Dobór i konfiguracja komponentów Confluent Platform, takich jak Schema Registry, Flink, Control Center czy Tableflow.
• Tworzenie klastrów Kafka w AWS (MSK, Confluent Cloud) oraz wdrażanie monitoringu opartego na Prometheus i Grafana.
• Konfiguracja narzędzi do replikacji i synchronizacji danych (MirrorMaker 2, Cluster Linking, Replicator) z zachowaniem spójności i niskich opóźnień.
• Definiowanie procesów CI/CD dla wdrożeń Kafki, schematów i aplikacji konsumenckich.
• Implementacja infrastruktury w modelu IaC przy użyciu narzędzia Terraform.
• Tworzenie run-booków, obsługa incydentów, optymalizacja wydajności oraz strojenie konfiguracji.
• Dzielenie się wiedzą i mentoring techniczny mniej doświadczonych członków zespołu.
Czego oczekujemy
• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Kafka.
• Biegła znajomość Confluent Platform w wersji Enterprise oraz Confluent Cloud.
• Praktyczne doświadczenie w migracji i replikacji klastrów przy użyciu MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Dobra znajomość chmury AWS i jej usług (VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets Manager).
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych.
• Umiejętność pisania kodu infrastruktury w Terraform oraz znajomość Ansible.
• Praktyczna znajomość narzędzi CI/CD (GitHub Actions, GitLab CI lub Jenkins).
• Umiejętność tworzenia skryptów w językach Python i Bash.
• Doświadczenie z narzędziami do monitoringu (Prometheus, Grafana, OpenTelemetry, Elastic Stack).
• Znajomość zagadnień bezpieczeństwa (TLS, SASL, ACL, RBAC, szyfrowanie danych).
• Doświadczenie w pracy w środowisku zwinnym (Scrum, Kanban).
Szukamy doświadczonego inżyniera do projektu realizowanego dla jednego z naszych klientów z sektora finansowego. Celem jest budowa hybrydowego środowiska Kafka, które połączy klastry on-premise z chmurą AWS. Projekt obejmuje wdrożenie rozwiązań Kafka w AWS, implementację replikacji danych między środowiskami oraz stworzenie procesów CI/CD i Infrastructure as Code. Dołączysz do zespołu Data Platform, gdzie będziesz współpracować z inżynierami danych, specjalistami DevOps i ekspertami od bezpieczeństwa.
Tryb pracy: 1 dzień w miesiącu w biurze we Wrocławiu, reszta zdalnie.
Twój zakres obowiązków
• Projektowanie hybrydowej topologii Kafki łączącej środowisko on-premise z AWS.
• Dobór i konfiguracja komponentów Confluent Platform, takich jak Schema Registry, Flink, Control Center czy Tableflow.
• Tworzenie klastrów Kafka w AWS (MSK, Confluent Cloud) oraz wdrażanie monitoringu opartego na Prometheus i Grafana.
• Konfiguracja narzędzi do replikacji i synchronizacji danych (MirrorMaker 2, Cluster Linking, Replicator) z zachowaniem spójności i niskich opóźnień.
• Definiowanie procesów CI/CD dla wdrożeń Kafki, schematów i aplikacji konsumenckich.
• Implementacja infrastruktury w modelu IaC przy użyciu narzędzia Terraform.
• Tworzenie run-booków, obsługa incydentów, optymalizacja wydajności oraz strojenie konfiguracji.
• Dzielenie się wiedzą i mentoring techniczny mniej doświadczonych członków zespołu.
Czego oczekujemy
• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Kafka.
• Biegła znajomość Confluent Platform w wersji Enterprise oraz Confluent Cloud.
• Praktyczne doświadczenie w migracji i replikacji klastrów przy użyciu MirrorMaker 2, Cluster Linking lub Confluent Replicator.
• Dobra znajomość chmury AWS i jej usług (VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets Manager).
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych.
• Umiejętność pisania kodu infrastruktury w Terraform oraz znajomość Ansible.
• Praktyczna znajomość narzędzi CI/CD (GitHub Actions, GitLab CI lub Jenkins).
• Umiejętność tworzenia skryptów w językach Python i Bash.
• Doświadczenie z narzędziami do monitoringu (Prometheus, Grafana, OpenTelemetry, Elastic Stack).
• Znajomość zagadnień bezpieczeństwa (TLS, SASL, ACL, RBAC, szyfrowanie danych).
• Doświadczenie w pracy w środowisku zwinnym (Scrum, Kanban).
🔍 Dekoder Ogłoszenia
🔴
Minimum 4 lata komercyjnego doświadczenia w pracy z Ap
Często oznacza, że poszukują kogoś, kto ma doświadczenie z konkretnym, często niszowym lub specyficznym dla firmy narzędziem/technologią, a nie ogólnie z daną dziedziną.
🔴
Dołączysz do zespołu Data Platform, gdzie będziesz współpracować z inżynierami danych, specjalistami DevOps i ekspertami od bezpieczeństwa.
Może oznaczać, że będziesz musiał balansować między różnymi odpowiedzialnościami i zaspokajać potrzeby wielu grup, co może prowadzić do rozproszenia uwagi.
🔴
1 dzień w miesiącu w biurze we Wrocławiu, reszta zdalnie.
Chociaż brzmi to elastycznie, może oznaczać, że ten jeden dzień w biurze jest kluczowy i wymaga od Ciebie pełnego zaangażowania, a także może być powodem do nieoczekiwanych spotkań.
🟡
Dzielenie się wiedzą i mentoring techniczny mniej doświadczonych członków zespołu.
Oprócz głównych obowiązków, będziesz odpowiedzialny za szkolenie innych, co może zwiększyć Twój nakład pracy.
🟢
Projektowanie hybrydowej topologii Kafki łączącej środowisko on-premise z AWS.
Jest to konkretny i ambitny cel projektu, który wymaga dogłębnej wiedzy o obu środowiskach i ich integracji.