Senior Data Platform Developer (Kafka)
⚲ Wrocław, Kraków, Katowice, Poznań, Łódź
23 100 - 27 300 PLN netto (B2B)
Wymagania
- MongoDB
- JSON Schema
- ProtoBuf
- Avro
- Java
- Spring Boot
- Kafka Connect
- Kafka Streams
- kSQL
- Apache Kafka
Opis stanowiska
O projekcie
Dla naszego klienta z sektora bankowego poszukujemy doświadczonego Senior Data Platform Engineera (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven.
Poszukujemy osoby, która posiada praktyczne doświadczenie w budowie i rozwoju rozwiązań opartych o Apache Kafka, potrafi projektować skalowalne usługi w środowisku produkcyjnym oraz dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps.
Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.
Zakres obowiązków
• projektowanie i rozwój rozwiązań opartych o architekturę event-driven z wykorzystaniem Apache Kafka,
• budowa i rozwój mikroserwisów w Java oraz Spring Boot,
• implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL,
• projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink),
• definiowanie oraz wersjonowanie schematów danych (Avro, Protobuf, JSON Schema),
• integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych,
• implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów,
• rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych,
• automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych o Kafka Streams,
• wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska,
• diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych,
• optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji,
• współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi,
• udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole.
Wymagania
Must-have
• minimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych,
• minimum 3 lata praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych,
• bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji,
• praktyczne doświadczenie z Kafka Streams oraz kSQL,
• doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów,
• bardzo dobra znajomość Java oraz Spring Boot,
• doświadczenie w projektowaniu i budowie mikroserwisów,
• znajomość schematów danych Avro, Protobuf oraz JSON Schema,
• doświadczenie w pracy z MongoDB,
• praktyczna znajomość Prometheus, Grafana oraz zagadnień observability,
• znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych,
• doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
Mile widziane
• doświadczenie z GraphQL,
• znajomość Apache Iceberg,
• znajomość OpenTelemetry,
• praktyczna znajomość Python,
• doświadczenie w środowiskach chmurowych,
• doświadczenie w automatyzacji procesów DevOps i CI/CD.
Tech Stack
Apache Kafka | Kafka Streams | Kafka Connect | kSQL | Java | Spring Boot | MongoDB | GraphQL | Apache Iceberg | Avro | Protobuf | JSON Schema | Prometheus | Grafana | OpenTelemetry | Python
Dla naszego klienta z sektora bankowego poszukujemy doświadczonego Senior Data Platform Engineera (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven.
Poszukujemy osoby, która posiada praktyczne doświadczenie w budowie i rozwoju rozwiązań opartych o Apache Kafka, potrafi projektować skalowalne usługi w środowisku produkcyjnym oraz dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps.
Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.
Zakres obowiązków
• projektowanie i rozwój rozwiązań opartych o architekturę event-driven z wykorzystaniem Apache Kafka,
• budowa i rozwój mikroserwisów w Java oraz Spring Boot,
• implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL,
• projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink),
• definiowanie oraz wersjonowanie schematów danych (Avro, Protobuf, JSON Schema),
• integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych,
• implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów,
• rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych,
• automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych o Kafka Streams,
• wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska,
• diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych,
• optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji,
• współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi,
• udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole.
Wymagania
Must-have
• minimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych,
• minimum 3 lata praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych,
• bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji,
• praktyczne doświadczenie z Kafka Streams oraz kSQL,
• doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów,
• bardzo dobra znajomość Java oraz Spring Boot,
• doświadczenie w projektowaniu i budowie mikroserwisów,
• znajomość schematów danych Avro, Protobuf oraz JSON Schema,
• doświadczenie w pracy z MongoDB,
• praktyczna znajomość Prometheus, Grafana oraz zagadnień observability,
• znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych,
• doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
Mile widziane
• doświadczenie z GraphQL,
• znajomość Apache Iceberg,
• znajomość OpenTelemetry,
• praktyczna znajomość Python,
• doświadczenie w środowiskach chmurowych,
• doświadczenie w automatyzacji procesów DevOps i CI/CD.
Tech Stack
Apache Kafka | Kafka Streams | Kafka Connect | kSQL | Java | Spring Boot | MongoDB | GraphQL | Apache Iceberg | Avro | Protobuf | JSON Schema | Prometheus | Grafana | OpenTelemetry | Python
🔍 Dekoder Ogłoszenia
🔴
doświadczonego Senior Data Platform Engineera (Kafka)
Oczekuje się, że kandydat będzie samodzielnie rozwiązywał problemy i podejmował decyzje architektoniczne, a nie tylko wykonywał polecenia.
🔴
dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps
Może to oznaczać, że będziesz musiał wykonywać zadania z różnych dziedzin, które normalnie należałyby do oddzielnych zespołów.
🔴
projektowanie skalowalne usługi w środowisku produkcyjnym
Może oznaczać, że będziesz musiał radzić sobie z problemami wydajnościowymi i stabilnością w już istniejącym, potencjalnie obciążonym systemie.
🔴
integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych
Zakres integracji może być bardzo szeroki i obejmować wiele różnych technologii, co może wymagać szybkiego uczenia się nowych narzędzi.
🔴
automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych o Kafka Streams
Może oznaczać, że będziesz odpowiedzialny za budowanie narzędzi do zarządzania infrastrukturą, a nie tylko za pisanie kodu aplikacji.