Data Platform Engineer (Kafka/Streaming)
⚲ Warszawa
16 800 - 20 160 PLN (PERMANENT)
Wymagania
- Python
- Kafka
- Spring
- GraphQL
- Java
Opis stanowiska
O projekcie:
Do projektu naszego klienta poszukujemy Data Platform Engineera, który dołączy do zespołu Data Platform - jego rolą będzie budowa nowoczesnych rozwiązań opartych o Apache Kafka ale takze bedzie odpowiedzialny za analizę wymagań biznesowych
Wymagania:
- Minimum 3 lata doświadczenia w środowiskach produkcyjnych.- Znajomość brokerów, topiców, partycjonowania, schematów i replikacji.- Biegła znajomość Kafka Streams, kSQL.- Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych).- Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).- Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań.- Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów.- Podstawowa znajomość formatu tabel i zarządzania metadanymi.- Znajomość Javy, Pythona- Znajomość Prometheus, Grafana oraz OpenTelemetry.- Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie.- Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.
Codzienne zadania:
- Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych.
- Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól).
- Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro).
- Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg.
- Budowa mikroserwisów Spring Boot (producent/konsument, stream processing).
- Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB.
- Konfiguracja i rozwój konektorów Kafka Connect.
- Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych.
- Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń.
- Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych.
- Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
- Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami.
- Dzielenie się wiedzą – warsztaty, dokumentacja, code review.
Do projektu naszego klienta poszukujemy Data Platform Engineera, który dołączy do zespołu Data Platform - jego rolą będzie budowa nowoczesnych rozwiązań opartych o Apache Kafka ale takze bedzie odpowiedzialny za analizę wymagań biznesowych
Wymagania:
- Minimum 3 lata doświadczenia w środowiskach produkcyjnych.- Znajomość brokerów, topiców, partycjonowania, schematów i replikacji.- Biegła znajomość Kafka Streams, kSQL.- Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych).- Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).- Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań.- Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów.- Podstawowa znajomość formatu tabel i zarządzania metadanymi.- Znajomość Javy, Pythona- Znajomość Prometheus, Grafana oraz OpenTelemetry.- Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie.- Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.
Codzienne zadania:
- Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych.
- Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól).
- Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro).
- Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg.
- Budowa mikroserwisów Spring Boot (producent/konsument, stream processing).
- Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB.
- Konfiguracja i rozwój konektorów Kafka Connect.
- Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych.
- Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń.
- Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych.
- Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
- Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami.
- Dzielenie się wiedzą – warsztaty, dokumentacja, code review.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.