Data Platform Engineer (Kafka/Streaming)

Nasze wymagania:
Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
Znajomość brokerów, topiców, partycjonowania, schematów i replikacji.
Biegła znajomość Kafka Streams, kSQL.
Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych).
Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).
Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań.
Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów.
Podstawowa znajomość formatu tabel i zarządzania metadanymi.
Znajomość Javy, Pythona
Znajomość Prometheus, Grafana oraz OpenTelemetry.
Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie.
Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.

Zakres obowiązków:
Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych.
Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól).
Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro).
Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg.
Budowa mikroserwisów Spring Boot (producent/konsument, stream processing).
Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB.
Konfiguracja i rozwój konektorów Kafka Connect.
Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych.
Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń.
Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych.
Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami.
Dzielenie się wiedzą – warsztaty, dokumentacja, code review.