Data Engineer (Databricks)

Nasze wymagania: Bardzo dobra znajomość Python oraz PySpark. Doświadczenie w pracy z Databricks oraz Delta Lake. Bardzo dobra znajomość SQL i umiejętność analizy złożonej logiki bazodanowej. Doświadczenie w projektach data engineeringowych. Znajomość zasad clean code oraz OOP. Doświadczenie w pracy z dużymi repozytoriami kodu. Doświadczenie w modelowaniu danych. Bardzo dobra znajomość języka angielskiego. Mile widziane: Doświadczenie z Azure Data Factory. Znajomość CI/CD oraz Azure DevOps. Doświadczenie z narzędziami analitycznymi. Znajomość zagadnień DevOps lub infrastrukturalnych. O projekcie: Dla naszego Klienta poszukujemy doświadczonej osoby w roli Senior Data Engineer do długofalowego projektu związanego z transformacją platformy danych w międzynarodowym środowisku ubezpieczeniowym. Projekt koncentruje się na migracji rozwiązań opartych o SQL Server do nowoczesnej platformy Databricks oraz budowie skalowalnych procesów data engineeringowych w środowisku cloud. Zakres obowiązków: Analiza oraz refaktoryzacja złożonej logiki SQL (stored procedures). Implementacja transformacji danych w Python oraz PySpark. Projektowanie i rozwój modeli danych w architekturze Medallion (Bronze / Silver / Gold). Tworzenie skalowalnych procesów transformacji danych w środowisku Databricks. Dbanie o jakość kodu, jego modularność oraz utrzymywalność. Udział w code review oraz decyzjach architektonicznych. Praca z dużymi wolumenami danych w środowisku enterprise. Oferujemy: Współpracę w modelu 100% zdalnym. Długofalowy projekt w międzynarodowym środowisku. Współpracę w modelu B2B. Pracę przy nowoczesnej platformie danych. Udział w dużym projekcie transformacji technologicznej.