JustJoin.IT Praca zdalna Senior New

Senior Data Engineer (Data Governance / Tool Selection)

best HR and PM solutions

⚲ Cracow, Warszawa, Wrocław, Poznań, Gdańsk

200 - 240 PLN/h netto (B2B)

Wymagania

  • Airflow
  • Apache Kafka
  • Data modeling
  • SQL
  • Python
  • Data Integration
  • Apache Spark

Opis stanowiska

To jedna z największych transformacji systemowych realizowanych w dużej organizacji o rozbudowanym środowisku IT (kilka tysięcy specjalistów technologicznych). Program obejmuje: • Wdrożenie zintegrowanego systemu klasy ERP • Budowę i standaryzację architektury integracyjnej (ESB / middleware) • Implementację platformy BPM • Transformację obszaru Data Management (MDM, migracje, governance) To inicjatywa o wysokim znaczeniu strategicznym – z ekspozycją na poziomie zarządu i realnym wpływem na architekturę całej organizacji. Twoja rola Poszukujemy doświadczonego Data Engineera, który dołączy do projektu w jego początkowej fazie, koncentrując się na obszarze Data Governance - w szczególności na analizie, doborze i przygotowaniu wdrożenia narzędzia klasy Data Governance (np. Collibra, Ataccama ONE). Rola ma charakter konsultacyjny na start (part-time / advisory), z możliwością przejścia do pełnego zaangażowania w kolejnych etapach programu. Zakres odpowiedzialności • Analiza potrzeb organizacji w obszarze Data Governance oraz rekomendacja narzędzia (np. Collibra, Ataccama ONE, DataHub, Google Cloud Dataplex) • Wsparcie procesu wyboru narzędzia (analiza, porównanie, warsztaty, rekomendacje architektoniczne) • Przygotowanie podejścia do wdrożenia Data Governance (data catalog, data quality, data lineage) • Projektowanie i budowa pipeline’ów danych (batch / streaming) • Integracja danych z systemów ERP, BPM oraz innych systemów źródłowych • Implementacja mechanizmów Data Quality i walidacji danych • Udział w projektowaniu modeli danych (w tym MDM) • Wsparcie analizy i mapowania przepływów danych (data lineage) • Współpraca z architektami, analitykami oraz zespołami integracyjnymi • Wsparcie migracji danych i transformacji systemów legacy Wymagania • 5+ lat doświadczenia jako Data Engineer • Doświadczenie w pracy w złożonych środowiskach systemowych (integracje, wiele źródeł danych) • Bardzo dobra znajomość SQL oraz Python • Doświadczenie z narzędziami typu Spark, Airflow, Kafka (lub podobne) • Doświadczenie w projektowaniu pipeline’ów danych (ETL / ELT) • Praktyczna znajomość zagadnień Data Governance / Data Quality / MDM • Doświadczenie w pracy z narzędziami Data Governance (np. Collibra, Ataccama ONE, DataHub, Google Cloud Dataplex) Kluczowe: • Doświadczenie w analizie, porównaniu i/lub wyborze narzędzia Data Governance / Data Catalog • Umiejętność oceny rozwiązań pod kątem architektury, integracji oraz potrzeb organizacji • Zrozumienie obszarów: data catalog, data lineage, data quality, data ownership • Umiejętność pracy blisko architektury i podejmowania decyzji technicznych Mile widziane • Doświadczenie w projektach ERP (np. SAP, Oracle) • Znajomość architektury event-driven • Doświadczenie w środowisku multi-vendor • Doświadczenie w chmurze (AWS / GCP / Azure) Dlaczego warto • Udział w jednym z największych programów transformacyjnych • Realny wpływ na wybór narzędzi i kierunek Data Governance w organizacji • Praca blisko decyzji architektonicznych i strategicznych • Możliwość wejścia w rolę ekspercką / leadową w kolejnych etapach projektu