Data Engineer (Apache NiFi / Kafka / CDC)

Nasze wymagania: Min. 6 lat doświadczenia w obszarze w data engineeringu (w tym min. 2–3 lata praktycznego doświadczenia z Apache NiFi) Bardzo dobra znajomość Kafka i/lub CDC (Change Data Capture) Bardzo dobra znajomość Pythona (automatyzacja, integracje, przetwarzanie danych) Język angielski: min. B2 Wyższe wykształcenie: (licencjat/inżynier lub wyższe) Posiadanie min. jednego z poniższych certyfikatów: Cloudera Certified Developer for Apache NiFi (lub równoważny) Certyfikat związany z Cloudera DataFlow (CFM) (lub równoważny) Mile widziane: Doświadczenie w obszarze data governance w CDP (Apache Atlas, Apache Ranger) Znajomość Apache Iceberg O projekcie: W Cyclad współpracujemy z czołowymi międzynarodowymi firmami IT, aby wspierać ich potencjał w dostarczaniu nowoczesnych, przełomowych technologii kształtujących świat przyszłości. Obecnie dla naszego klienta poszukujemy kandydatów na pozycję Data Flow Engineer. Dołącz do zespołu wspierającego kluczową europejską instytucję i rozwijaj swoje kompetencje w międzynarodowym środowisku IT. Liczba wakatów: 2 Lokalizacja: Warszawa – Wola (okolice Ronda Daszyńskiego) Tryb pracy: model hybrydowy (60% onsite / 40% zdalnie Forma umowy: B2B/UoP-kwota do doprecyzowania Branża: bezpieczeństwo/ instytucja publiczna Zakres obowiązków: Projektowanie, implementacja i utrzymanie przepływów danych w Apache NiFi Budowa i optymalizacja pipeline’ów CDC (real-time / near real-time) Integracje systemów (REST API, JDBC, Kafka) Zarządzanie schematami danych (Avro), metadata i lineage (Apache Atlas) Konfiguracja polityk bezpieczeństwa (Apache Ranger) Monitoring, troubleshooting i optymalizacja wydajności pipeline’ów Współpraca z zespołami Data Engineering, architektami i biznesem Tworzenie dokumentacji technicznej (SOP, runbooki) Udział w upgrade’ach i migracjach (CDP / NiFi / Kafka) Oferujemy: Długoterminowy, stabilny projekt Praca przy zaawansowanych rozwiązaniach Big Data Prywatną opiekę medyczną wraz z pakietem stomatologicznym (pokrycie 70% kosztów) oraz możliwość rozszerzenia na członków rodziny Kartę Multisport (również dla osoby towarzyszącej) Ubezpieczenie na życie Pracę w międzynarodowym, dynamicznym środowisku