Data Flow Engineer

Nasze wymagania: Wyższe wykształcenie: (licencjat/inżynier lub wyższe) Język angielski: min. B2 Min. 8 lat doświadczenia zawodowego po ukończeniu edukacji Min. 6 lat na podobnym stanowisku Posiadanie min. jednego z poniższych certyfikatów: Cloudera Certified Developer for Apache NiFi (lub równoważny) Certyfikat związany z Cloudera DataFlow (CFM) (lub równoważny) Ekspercka znajomość Apache NiFi (projektowanie, implementacja i utrzymanie złożonych data flow) Zaawansowane umiejętności w obszarze programowania w Pythonie (automatyzacja, integracje, przetwarzanie danych) Doświadczenie w CDC (Change Data Capture) Znajomość Apache Iceberg (zarządzanie tabelami, partycjonowanie, ewolucja schematu) Data governance w CDP (Apache Atlas, Apache Ranger) Doświadczenie w pracy z Apache Kafka oraz Apache Avro Min. 2–3 lata praktycznego doświadczenia z Apache NiFi (najlepiej w środowisku CDP) Udział w co najmniej jednym dużym projekcie integracyjnym opartym o NiFi Doświadczenie w budowie pipeline’ów CDC (bazy relacyjne) Praktyczna znajomość Apache Atlas i Ranger (lineage, polityki bezpieczeństwa) Integracja NiFi z Kafka (zarządzanie schematami, Avro) Znajomość Apache Iceberg w praktyce O projekcie: W Cyclad współpracujemy z czołowymi międzynarodowymi firmami IT, aby wspierać ich potencjał w dostarczaniu nowoczesnych, przełomowych technologii kształtujących świat przyszłości. Obecnie dla naszego klienta poszukujemy kandydatów na pozycję Data Flow Engineer. Dołącz do zespołu wspierającego kluczową europejską instytucję i rozwijaj swoje kompetencje w międzynarodowym środowisku IT. Liczba wakatów: 2 Lokalizacja: Warszawa – Wola (okolice Ronda Daszyńskiego) Tryb pracy: model hybrydowy (60% onsite / 40% zdalnie) Branża: bezpieczeństwo/ instytucja publiczna Zakres obowiązków: Projektowanie, implementacja i utrzymanie przepływów danych w Apache NiFi Budowa i optymalizacja pipeline’ów CDC (real-time / near real-time) Integracje systemów (REST API, JDBC, Kafka) Zarządzanie schematami danych (Avro), metadata i lineage (Apache Atlas) Konfiguracja polityk bezpieczeństwa (Apache Ranger) Monitoring, troubleshooting i optymalizacja wydajności pipeline’ów Współpraca z zespołami Data Engineering, architektami i biznesem Tworzenie dokumentacji technicznej (SOP, runbooki) Udział w upgrade’ach i migracjach (CDP / NiFi / Kafka) Oferujemy: Długoterminowy, stabilny projekt (min. 4 lata) Praca przy zaawansowanych rozwiązaniach Big Data Prywatną opiekę medyczną wraz z pakietem stomatologicznym (pokrycie 70% kosztów) oraz możliwość rozszerzenia na członków rodziny Kartę Multisport (również dla osoby towarzyszącej) Ubezpieczenie na życie Pracę w międzynarodowym, dynamicznym środowisku