Data Flow Engineer [K/M]

Nasze wymagania: Minimum 2–3 lata praktycznego doświadczenia w codziennej pracy z Apache NiFi, preferencyjnie w środowisku Cloudera Data Platform (projektowanie, wdrażanie, monitoring, troubleshooting zaawansowanych flow) Udokumentowane doświadczenie w realizacji co najmniej jednego dużego projektu integracyjnego, w którym NiFi pełnił centralną rolę Zaawansowana wiedza w zakresie projektowania i utrzymywania złożonych przepływów danych w Apache NiFi Bardzo dobra znajomość Pythona (przetwarzanie danych, automatyzacja, logika niestandardowa, integracje) Doświadczenie w integracjach opartych o REST API (uwierzytelnianie OAuth/JWT, obsługa błędów, rate limiting) Praktyczna wiedza i doświadczenie w pipeline’ach CDC do/z relacyjnych baz danych Znajomość Apache Iceberg (tworzenie i zarządzanie tabelami, ewolucja schematów) Doświadczenie w zarządzaniu data governance i lineage w Apache Atlas oraz bezpieczeństwem w Apache Ranger Doświadczenie w pracy z Apache Kafka w ekosystemie CDP oraz ze standardem serializacji Apache Avro O projekcie: W Fabrity przygotowujemy się do realizacji nowych projektów IT dla naszego klienta – agencji Unii Europejskiej. Inicjatywa obejmuje szeroki zakres działań związanych z projektowaniem, wdrażaniem, utrzymaniem i rozwojem usług oraz systemów informatycznych. Projekty będą dotyczyć zarówno tworzenia nowych rozwiązań ICT, jak i wsparcia istniejących systemów. Obejmą prace związane z implementacją, konfiguracją, integracją systemów oraz ich bieżącą obsługą operacyjną. Zakres działań może obejmować różne technologie – od systemów legacy, przez aktualnie stosowane platformy, po nowe i rozwijające się rozwiązania – a także obszary takie jak architektura korporacyjna, bezpieczeństwo informacji oraz zarządzanie usługami IT. OCZEKIWANIA WZGLĘDEM CERTYFIKATÓW: Wymagany co najmniej 1 certyfikat spośród poniższych: • Cloudera Certified Developer for Apache NiFi lub certyfikat równoważny • Certyfikat powiązany z Cloudera DataFlow (CFM) lub certyfikat równoważny Zakres obowiązków: Projektowanie, implementacja, testowanie i utrzymanie złożonych przepływów danych w Cloudera DataFlow (Apache NiFi) – ingest, transformacja, wzbogacanie, routing i dystrybucja danych Budowa i optymalizacja pipeline’ów CDC (real‑time / near‑real‑time) z wykorzystaniem NiFi, Kafka oraz Debezium / konektorów SQL CDC Integracja platformy danych z innymi systemami oraz zewnętrznymi źródłami danych (REST API, JDBC, Kafka i inne protokoły) Zarządzanie schematami danych (Avro), metadanymi oraz lineage w Apache Atlas Konfiguracja bezpieczeństwa i governance przepływów danych (polityki Apache Ranger) Monitorowanie, alertowanie oraz rozwiązywanie problemów wydajnościowych i niezawodności pipeline’ów danych Współpraca z data engineerami, architektami oraz interesariuszami biznesowymi przy definiowaniu wymagań i architektury przepływów danych Tworzenie i utrzymanie dokumentacji operacyjnej (SOP, runbooki) dla przepływów danych Udział w aktualizacjach i migracjach środowisk CDP / NiFi / Kafka Oferujemy: Benefity w ramach systemu kafeteryjnego Współpracę w oparciu o umowę B2B Możliwość realizacji usług w modelu stacjonarnym z lokalizacji biura naszego klienta (Warszawa) Zaangażowanie w projekt mający realny wpływ na kierunek rozwoju biznesu naszego klienta Realizację usług dla prestiżowej instytucji publicznej