Data Engineer / Data Architect (Azure Databricks)

O projekcie: Szukamy bardzo doświadczonego Data Engineera / Data Architecta, który dołączy do trwającego projektu modernizacji platformy danych w Azure. Docelowa architektura to Azure Data Lakehouse oparte o Databricks, w modelu medallion (Bronze / Silver / Gold). Źródła danych obejmują trzy środowiska SQL Server. Wymagania: Nasze wymagania - bardzo dobra znajomość Azure Data Factory (ADF) i Azure Data Lake Storage Gen2 - praktyczne doświadczenie z Databricks (SQL, Delta Lake, medallion architecture) - doświadczenie w Unity Catalog oraz RBAC - bardzo dobra znajomość SQL Server / T-SQL i migracji danych - doświadczenie w modelowaniu danych (fact / dimension, lakehouse) - Python (pipeline’y, testy, automatyzacja) - doświadczenie z Azure DevOps (CI/CD dla data platform) - umiejętność pracy w środowisku consultingowym / client-facing - doświadczenie w projektach modernizacji lub budowy platform danych end-to-end Mile widziane - Microsoft Purview - Databricks Lakeflow - doświadczenie w projektach recovery / turnaround Codzienne zadania: - analiza istniejącego środowiska (Databricks, ADF, SQL Server) i identyfikacja luk w delivery - projektowanie i walidacja architektury Data Lakehouse (medallion: Bronze / Silver / Gold) - budowa i rozwój pipeline’ów w Azure Data Factory (batch ingestion, incremental loads) - migracja widoków i logiki z SQL Server do Databricks SQL - implementacja warstwy Gold (modele analityczne, fact/dimension) - wdrażanie i utrzymanie CI/CD w Azure DevOps (ADF + Databricks) - budowa mechanizmów testów i rekonsyliacji danych - wsparcie w delivery planowaniu oraz udział w spotkaniach z klientem jako ekspert techniczny - raportowanie postępów i zarządzanie zależnościami po stronie klienta