Data Platform Developer
SQUARE ONE RESOURCES sp. z o.o.
⚲ Warszawa
100–120 zł netto (+ VAT) / godz.
Wymagania
- kSQL
- Spring Boot
- Kafka
- MongoDB
- Docker
- Kubernetes
- Prometheus
- Grafana
Opis stanowiska
Nasze wymagania:
Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.
Znajomość brokerów, topiców, konsumentów, producentów, logów i mechanizmów replikacji.
Biegła znajomość Kafka Streams, kSQL.
Znajomość Kafka Connect
Zakres obowiązków:
Opracowywanie prototypów i pełnych rozwiązań event-driven przy użyciu Apache Kafka, Kafka Connect, Kafka Streams, kSQL.
Definiowanie schematów danych (Avro/Protobuf/JSON Schema) oraz wersjonowania.
Tworzenie mikroserwisów w Spring Boot obsługujacych zdarzenia Kafka (producent, konsument, stream processing).
Budowa warstwy API GraphQL z wykorzystaniem Quarkus/graalVM udostepniającej dane z MongoDB.
Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg, innych baz i systemów.
Zapewnienie transformacji danych przy pomocy Single Message Transforms (SMT) i własnych konwerterów.
Opracowywanie prototypów i pełnych rozwiazan automatyzacji tworzenia konfiguracji topików i konektorów Kafka Connect, streamów kSQL, aplikacji Kafka Streams.
Wdrażanie rozwiązań z wykorzystaniem Docker/Kubernetes.
Automatyzacja procesów CI/CD.
Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Datadog) dla przepływu zdarzen.
Diagnostyka problemów z replikacją, opóźnieniami i przetwarzaniem.
Tuneowanie konfiguracji Kafki (partycje, retencja, wydajnosc, ISR itp.).
Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami i analitykami.
Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.
Znajomość brokerów, topiców, konsumentów, producentów, logów i mechanizmów replikacji.
Biegła znajomość Kafka Streams, kSQL.
Znajomość Kafka Connect
Zakres obowiązków:
Opracowywanie prototypów i pełnych rozwiązań event-driven przy użyciu Apache Kafka, Kafka Connect, Kafka Streams, kSQL.
Definiowanie schematów danych (Avro/Protobuf/JSON Schema) oraz wersjonowania.
Tworzenie mikroserwisów w Spring Boot obsługujacych zdarzenia Kafka (producent, konsument, stream processing).
Budowa warstwy API GraphQL z wykorzystaniem Quarkus/graalVM udostepniającej dane z MongoDB.
Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg, innych baz i systemów.
Zapewnienie transformacji danych przy pomocy Single Message Transforms (SMT) i własnych konwerterów.
Opracowywanie prototypów i pełnych rozwiazan automatyzacji tworzenia konfiguracji topików i konektorów Kafka Connect, streamów kSQL, aplikacji Kafka Streams.
Wdrażanie rozwiązań z wykorzystaniem Docker/Kubernetes.
Automatyzacja procesów CI/CD.
Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Datadog) dla przepływu zdarzen.
Diagnostyka problemów z replikacją, opóźnieniami i przetwarzaniem.
Tuneowanie konfiguracji Kafki (partycje, retencja, wydajnosc, ISR itp.).
Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami i analitykami.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.