Data Platform Developer

O projekcie
Dla naszego klienta, firmy z sektora bankowego realizującej nowoczesne projekty z obszaru Data & Technology, poszukujemy doświadczonego Data Platform Developera, który dołączy do zespołu rozwijającego skalowalną platformę danych opartą na architekturze event-driven. Szukamy osoby, która dobrze czuje się w świecie Apache Kafka i Java, ma doświadczenie w budowaniu mikroserwisów oraz rozumie zagadnienia związane z integracją danych, DevOps, monitoringiem i środowiskami produkcyjnymi.

Twój zakres odpowiedzialności
• projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka,
• tworzenie mikroserwisów w Java / Spring Boot obsługujących zdarzenia Kafka,
• praca z Kafka Streams oraz kSQL,
• projektowanie i wersjonowanie schematów danych: Avro, Protobuf, JSON Schema,
• konfiguracja i rozwój Kafka Connect, w tym konektorów source/sink,
• integracja Kafki z MongoDB, S3, Apache Iceberg oraz innymi bazami i systemami,
• implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów,
• rozwój warstwy API GraphQL udostępniającej dane z MongoDB,
• automatyzacja konfiguracji topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams,
• wdrażanie rozwiązań związanych z monitoringiem i obserwowalnością – Prometheus, Grafana, OpenTelemetry,
• diagnostyka problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem danych,
• optymalizacja konfiguracji Apache Kafka, m.in. partycji, retencji i mechanizmów replikacji,
• współpraca z Data Engineerami, DevOpsami oraz analitykami w środowisku Agile,
• dokumentowanie rozwiązań oraz dzielenie się wiedzą z zespołem.

Czego oczekujemy?

Must-have
• Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.
• Apache Kafka – znajomość brokerów, topiców, konsumentów, producentów, logów oraz mechanizmów replikacji.
• Biegła znajomość Kafka Streams i kSQL.
• Kafka Connect – doświadczenie w konfiguracji i rozwoju konektorów, zarówno gotowych, jak i własnych.

Wymagania
• Java i Spring – bardzo dobra znajomość frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security, Spring Data.
• MongoDB – doświadczenie w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań.
• GraphQL – doświadczenie w implementacji serwisów GraphQL, definiowaniu schematów i resolverów.
• Apache Iceberg – podstawowa znajomość formatu tabel oraz zarządzania metadanymi.
• Java i Python – praktyczna znajomość języków.
• Monitoring i observability – Prometheus, Grafana, OpenTelemetry.
• Bezpieczeństwo – znajomość TLS, SASL, ACL oraz szyfrowania danych w spoczynku i tranzycie.
• Agile – doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence.