Architekt Hurtowni Danych / Data Platform Architect (F/M)
⚲ Gdańsk
Do uzgodnienia
Wymagania
- doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych
- praktyczne doświadczenie w tworzeniu architektury Data Lake oraz Data Lakehouse
- bardzo dobra znajomość Apache Spark w obszarze Data Engineering
- praktyczna znajomość Apache Hadoop i HDFS
- doświadczenie z Delta Lake lub Apache Iceberg
- doświadczenie w projektowaniu procesów ETL/ELT
- umiejętność przygotowywania dokumentacji architektonicznej HLD i LLD
- doświadczenie w prowadzeniu transformacji technologicznych zespołów Data Warehouse
Opis stanowiska
B2B.NET szuka Architekta Hurtowni Danych do zaprojektowania docelowej architektury nowoczesnej platformy danych i przeprowadzenia transformacji obecnego środowiska Data Warehouse. Będziesz analizować istniejącą architekturę, opracowywać HLD, projektować zastąpienie Oracle Data Integrator oraz warstw SRC/STG rozwiązaniem opartym na Apache HDFS, a także pełnić rolę lidera technicznego i mentorować zespół. Uwaga: to projekt transformacyjny — będziesz zarządzać oporem zespołu wobec zmian i przekonywać go do nowych technologii, a nie tylko wdrażać je technicznie. Obecne środowisko jest prawdopodobnie przestarzałe i wymaga gruntownego przeprojektowania.
🔍 Dekoder Ogłoszenia
🔴
Doświadczenie w prowadzeniu transformacji technologicznych zespołów Data Warehouse.
Może oznaczać konieczność zarządzania oporem zespołu wobec zmian i przekonywania go do nowych technologii, a nie tylko techniczne wdrożenie.
🔴
Opracowanie koncepcji wyeliminowania Oracle Data Integrator.
Może oznaczać, że obecne narzędzie jest przestarzałe, problematyczne lub kosztowne, a jego zastąpienie będzie wymagało znacznego wysiłku.
🔴
Zaprojektowanie zastąpienia obecnych warstw SRC i STG rozwiązaniem opartym na Apache HDFS.
Wskazuje na potencjalnie dużą i złożoną migrację danych oraz konieczność zrozumienia i przeprojektowania istniejących procesów ładowania danych.
🔴
Wsparcie programu transformacji technologicznej obecnego środowiska Data Warehouse.
Sugeruje, że obecne środowisko może być przestarzałe, trudne w utrzymaniu lub nie spełniać obecnych wymagań, co może wiązać się z wyzwaniami.
🟡
Przygotowanie rekomendacji technologicznych, organizacyjnych i kompetencyjnych.
Oprócz aspektów technicznych, od kandydata oczekuje się również analizy procesów, struktury zespołu i potrzeb szkoleniowych.