Senior Data Engineer / Tech Lead

O projekcie: Dołącz do projektu dla dużej firmy ubezpieczeniowej działającej na rynku USA. Poszukujemy doświadczonego Tech Leada z mocnym backgroundem Data Engineering i Databricks, który poprowadzi prace związane z wdrożeniem oraz optymalizacją przepływów danych pomiędzy systemem core a platformą Databricks. Jeśli masz solidne doświadczenie w architekturze danych, pySpark, Azure oraz tworzeniu skalowalnych pipeline’ów — będzie to świetne wyzwanie. Wymagania: Bardzo dobra znajomość pySpark (distributed processing, nie tylko Pandas) Praktyczne doświadczenie z Databricks: - konfiguracja workspace & compute - Lakeflow Declarative Pipelines - Asset Bundles - CI/CD - Znajomość Medallion Architecture (Bronze / Silver / Gold) Doświadczenie z Microsoft Azure: - Key Vault - Azure SQL - Azure Data Factory (ADF) Minimum: - 5 lat doświadczenia jako Data Engineer (lub pokrewne) - 2 lata doświadczenia jako Tech Lead - Język angielski — must have (kontakt z klientem w USA) Nice to Have - Doświadczenie w branży insurance / finance - Doświadczenie projektowe w obszarze konsultingu - Umiejętność modelowania danych oraz projektowania warstw danych Codzienne zadania: - Prowadzenie techniczne zespołu Data Engineering w obszarze Databricks & Azure - Projektowanie i implementacja skalowalnych pipeline’ów ETL/ELT w oparciu o pySpark i Lakehouse / Medallion Architecture - Konfiguracja środowisk Databricks (compute, workspace, optymalizacja kosztów, bezpieczeństwo) - Budowa i utrzymanie Lakeflow Declarative Pipelines, Databricks Asset Bundles oraz procesów CI/CD - Integracja przepływów danych pomiędzy systemem ubezpieczeniowym a platformą Databricks - Dbanie o jakość danych, standardy, dokumentację i najlepsze praktyki - Współpraca z globalnym klientem (USA) oraz zespołem w Polsce