Data Engineer - Data Architect (Azure Databricks)

Nasze wymagania: bardzo dobra znajomość Azure Data Factory (ADF) i Azure Data Lake Storage Gen2 praktyczne doświadczenie z Databricks (SQL, Delta Lake, medallion architecture) doświadczenie w Unity Catalog oraz RBAC bardzo dobra znajomość SQL Server / T-SQL i migracji danych doświadczenie w modelowaniu danych (fact / dimension, lakehouse) Python (pipeline’y, testy, automatyzacja) doświadczenie z Azure DevOps (CI/CD dla data platform) umiejętność pracy w środowisku consultingowym / client-facing doświadczenie w projektach modernizacji lub budowy platform danych end-to-end Mile widziane: Microsoft Purview Databricks Lakeflow doświadczenie w projektach recovery / turnaround O projekcie: Szukamy bardzo doświadczonego Data Engineera / Data Architecta, który dołączy do trwającego projektu modernizacji platformy danych w Azure. Docelowa architektura to Azure Data Lakehouse oparte o Databricks, w modelu medallion (Bronze / Silver / Gold). Źródła danych obejmują trzy środowiska SQL Server. Zaangażowanie: 4–5 dni w tygodniu, projekt przewidziany na około 3–4 miesiące. Zakres obowiązków: analiza istniejącego środowiska (Databricks, ADF, SQL Server) i identyfikacja luk w delivery projektowanie i walidacja architektury Data Lakehouse (medallion: Bronze / Silver / Gold) budowa i rozwój pipeline’ów w Azure Data Factory (batch ingestion, incremental loads) migracja widoków i logiki z SQL Server do Databricks SQL implementacja warstwy Gold (modele analityczne, fact/dimension) wdrażanie i utrzymanie CI/CD w Azure DevOps (ADF + Databricks) budowa mechanizmów testów i rekonsyliacji danych wsparcie w delivery planowaniu oraz udział w spotkaniach z klientem jako ekspert techniczny raportowanie postępów i zarządzanie zależnościami po stronie klienta Oferujemy: Zatrudnienie na B2B Możliwość pracy zdalej Start ASAP