Data Flow Engineer

W Cyclad współpracujemy z czołowymi międzynarodowymi firmami IT, aby wspierać ich potencjał w dostarczaniu nowoczesnych, przełomowych technologii kształtujących świat przyszłości. Obecnie dla naszego klienta poszukujemy kandydatów na pozycję Data Flow Engineer. Dołącz do zespołu wspierającego kluczową europejską instytucję i rozwijaj swoje kompetencje w międzynarodowym środowisku IT. Informacje o projekcie: • Liczba wakatów: 2 • Lokalizacja: Warszawa – Wola (okolice Ronda Daszyńskiego) • Tryb pracy: model hybrydowy (60% onsite / 40% zdalnie) • Branża: bezpieczeństwo/ instytucja publiczna Obowiązki:• Projektowanie, implementacja i utrzymanie przepływów danych w Apache NiFi • Budowa i optymalizacja pipeline’ów CDC (real-time / near real-time) • Integracje systemów (REST API, JDBC, Kafka) • Zarządzanie schematami danych (Avro), metadata i lineage (Apache Atlas) • Konfiguracja polityk bezpieczeństwa (Apache Ranger) • Monitoring, troubleshooting i optymalizacja wydajności pipeline’ów • Współpraca z zespołami Data Engineering, architektami i biznesem • Tworzenie dokumentacji technicznej (SOP, runbooki) • Udział w upgrade’ach i migracjach (CDP / NiFi / Kafka) Wymagania: • Wyższe wykształcenie: (licencjat/inżynier lub wyższe) • Język angielski: min. B2 • Min. 8 lat doświadczenia zawodowego po ukończeniu edukacji • Min. 6 lat na podobnym stanowisku • Posiadanie min. jednego z poniższych certyfikatów: -Cloudera Certified Developer for Apache NiFi (lub równoważny) -Certyfikat związany z Cloudera DataFlow (CFM) (lub równoważny) • Ekspercka znajomość Apache NiFi (projektowanie, implementacja i utrzymanie złożonych data flow) • Zaawansowane umiejętności w obszarze programowania w Pythonie (automatyzacja, integracje, przetwarzanie danych) • Doświadczenie w CDC (Change Data Capture) • Znajomość Apache Iceberg (zarządzanie tabelami, partycjonowanie, ewolucja schematu) • Data governance w CDP (Apache Atlas, Apache Ranger) • Doświadczenie w pracy z Apache Kafka oraz Apache Avro Wymagania szczegółowe • Min. 2–3 lata praktycznego doświadczenia z Apache NiFi (najlepiej w środowisku CDP) • Udział w co najmniej jednym dużym projekcie integracyjnym opartym o NiFi • Doświadczenie w budowie pipeline’ów CDC (bazy relacyjne) • Praktyczna znajomość Apache Atlas i Ranger (lineage, polityki bezpieczeństwa) • Integracja NiFi z Kafka (zarządzanie schematami, Avro) • Znajomość Apache Iceberg w praktyce Oferujemy: • Długoterminowy, stabilny projekt (min. 4 lata) • Praca przy zaawansowanych rozwiązaniach Big Data • Prywatną opiekę medyczną wraz z pakietem stomatologicznym (pokrycie 70% kosztów) oraz możliwość rozszerzenia na członków rodziny • Kartę Multisport (również dla osoby towarzyszącej) • Ubezpieczenie na życie • Pracę w międzynarodowym, dynamicznym środowisku