Data Platform Developer
⚲ Warszawa
16 800 - 20 160 PLN (PERMANENT)
Wymagania
- Kafka
- Kafka Streams
- kSQL
- Kafka Connect
Opis stanowiska
O projekcie:
Do projektu naszego klienta poszukujemy Data Platform Developera, który będzie odpowiedzialny za projektowanie, budowanie i utrzymanie nowoczesnych, skalowalnych rozwiązań event-driven.
Wymagania:
- Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.- Znajomość brokerów, topiców, konsumentów, producentów, logów i mechanizmów replikacji.- Biegła znajomość Kafka Streams, kSQL.- Znajomość Kafka Connect
Codzienne zadania:
- Opracowywanie prototypów i pełnych rozwiązań event-driven przy użyciu Apache Kafka, Kafka Connect, Kafka Streams, kSQL.
- Definiowanie schematów danych (Avro/Protobuf/JSON Schema) oraz wersjonowania.
- Tworzenie mikroserwisów w Spring Boot obsługujacych zdarzenia Kafka (producent, konsument, stream processing).
- Budowa warstwy API GraphQL z wykorzystaniem Quarkus/graalVM udostepniającej dane z MongoDB.
- Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg, innych baz i systemów.
- Zapewnienie transformacji danych przy pomocy Single Message Transforms (SMT) i własnych konwerterów.
- Opracowywanie prototypów i pełnych rozwiazan automatyzacji tworzenia konfiguracji topików i konektorów Kafka Connect, streamów kSQL, aplikacji Kafka Streams.
- Wdrażanie rozwiązań z wykorzystaniem Docker/Kubernetes.
- Automatyzacja procesów CI/CD.
- Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Datadog) dla przepływu zdarzen.
- Diagnostyka problemów z replikacją, opóźnieniami i przetwarzaniem.
- Tuneowanie konfiguracji Kafki (partycje, retencja, wydajnosc, ISR itp.).
- Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami i analitykami.
Do projektu naszego klienta poszukujemy Data Platform Developera, który będzie odpowiedzialny za projektowanie, budowanie i utrzymanie nowoczesnych, skalowalnych rozwiązań event-driven.
Wymagania:
- Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.- Znajomość brokerów, topiców, konsumentów, producentów, logów i mechanizmów replikacji.- Biegła znajomość Kafka Streams, kSQL.- Znajomość Kafka Connect
Codzienne zadania:
- Opracowywanie prototypów i pełnych rozwiązań event-driven przy użyciu Apache Kafka, Kafka Connect, Kafka Streams, kSQL.
- Definiowanie schematów danych (Avro/Protobuf/JSON Schema) oraz wersjonowania.
- Tworzenie mikroserwisów w Spring Boot obsługujacych zdarzenia Kafka (producent, konsument, stream processing).
- Budowa warstwy API GraphQL z wykorzystaniem Quarkus/graalVM udostepniającej dane z MongoDB.
- Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg, innych baz i systemów.
- Zapewnienie transformacji danych przy pomocy Single Message Transforms (SMT) i własnych konwerterów.
- Opracowywanie prototypów i pełnych rozwiazan automatyzacji tworzenia konfiguracji topików i konektorów Kafka Connect, streamów kSQL, aplikacji Kafka Streams.
- Wdrażanie rozwiązań z wykorzystaniem Docker/Kubernetes.
- Automatyzacja procesów CI/CD.
- Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Datadog) dla przepływu zdarzen.
- Diagnostyka problemów z replikacją, opóźnieniami i przetwarzaniem.
- Tuneowanie konfiguracji Kafki (partycje, retencja, wydajnosc, ISR itp.).
- Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami i analitykami.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.