Developer Hurtowni Danych

Nasze wymagania:
praktycznego doświadczenia w budowie i rozwoju Hurtowni Danych,
bardzo dobrej znajomości Oracle,
doświadczenia w projektowaniu i implementacji procesów ETL,
bardzo dobrej znajomości modelowania danych i projektowania przepływów danych,
praktycznej znajomości Databricks,
doświadczenia w pracy z danymi w środowisku cloud data platform,
doświadczenia w integracji Databricks z systemami zewnętrznymi,
doświadczenia w środowiskach hybrydowych: cloud + on-premise,
doświadczenia w projektach Data & Analytics,
znajomości Git / GitHub / Bitbucket / Bamboo oraz automatyzacji procesu wytwarzania,
doświadczenia w wykorzystaniu AI / GitHub Copilot w pracy developerskiej lub analitycznej,
umiejętności projektowania rozwiązań analitycznych, definiowania standardów technicznych oraz architektury rozwiązań danych.

Mile widziane:
znajomość Oracle Exadata,
znajomość SAS 9.4 i SAS Viya,
doświadczenie z procesami realizowanymi w środowisku SAS,
znajomość Azure Data Factory,
doświadczenie w integracji danych pomiędzy środowiskiem cloud i on-premise,
znajomość platform danych w Microsoft Azure,
znajomość nowoczesnych architektur danych,
doświadczenie z Microsoft Fabric,
znajomość Python i tworzenia skryptów integracyjnych,
znajomość formatu Parquet i warstw Data Lake,
doświadczenie z Apache Kafka i strumieniowym przetwarzaniem danych.

O projekcie:
Dołącz do projektu realizowanego dla dużej organizacji z branży ubezpieczeniowej i pracuj przy integracji nowoczesnej platformy chmurowej z istniejącym środowiskiem Hurtowni Danych.
Poszukujemy doświadczonego Senior Data Engineera / Developera HD, który wesprze rozwój i integrację środowiska danych łączącego Databricks i Azure z rozwiązaniami on-premise opartymi o Oracle i SAS.
Rola łączy praktyczną pracę z danymi i procesami ETL z udziałem w projektowaniu architektury, standardów technicznych oraz rozwiązań integracyjnych. Pracujemy hybrydowo – 1x w tygodniu w Warszawie.

Zakres obowiązków:
integracja platformy Databricks z istniejącą Hurtownią Danych opartą o Oracle i SAS,
projektowanie i implementacja procesów ETL oraz przepływów danych pomiędzy środowiskiem cloud i on-premise,
integracja Databricks, Azure Data Factory i Oracle oraz przygotowywanie danych do dalszego przetwarzania w HD,
udział w projektowaniu architektury rozwiązań danych i definiowaniu standardów technicznych,
projektowanie interfejsów wymiany danych pomiędzy systemami,
automatyzacja procesów wytwarzania i utrzymania rozwiązań z wykorzystaniem CI/CD, GitHub Copilot i Visual Studio Code,
rozwój i utrzymanie rozwiązań HD/BI w technologiach SAS, Oracle, Microsoft Fabric, Python i Kafka,
budowa technicznych data martów, raportów BI oraz komponentów wspierających przetwarzanie i optymalizację danych,
technologiczne, integracyjne i architektoniczne wsparcie strategicznych projektów Data & Analytics.