Data Engineer (Platforma Exposure) K/M

Nasze wymagania: Bardzo dobra znajomość Python oraz PySpark Doświadczenie z Databricks i Delta Lake Praca z dużymi repozytoriami kodu (nie tylko notebooki) Bardzo dobra znajomość SQL (analiza złożonej logiki) Doświadczenie w programowaniu obiektowym (OOP) Znajomość zasad clean code i utrzymywalności kodu Doświadczenie w pracy w środowiskach enterprise Umiejętność dokładnej analizy istniejącego kodu (linia po linii) Silne podstawy modelowania danych (transakcyjne i analityczne) Doświadczenie w przebudowie modeli danych podczas migracji Znajomość architektury warstwowej (Bronze / Silver / Gold) Bardzo dobra znajomość języka angielskiego Mile widziane: Azure Data Factory (orkiestracja) Azure DevOps, Git, CI/CD Power BI lub narzędzia analityczne Wiedza z zakresu DevOps / infrastruktury O projekcie: Obecnie poszukujemy Data Engineera. Projekt realizowany jest dla Munich Re i dotyczy dużej transformacji środowiska danych – migracji z systemów opartych o SQL Server do platformy Databricks / Delta Lake. Zakres obejmuje migrację 3500–4000 baz danych (ok. 2 TB) oraz replikację danych do Databricks w różnych strukturach i schematach, przy docelowych wolumenach sięgających petabajtów danych. Projekt koncentruje się na inżynierii danych klasy enterprise oraz developmentcie, a nie na analityce czy raportowaniu. Zakres obowiązków: Analiza i zrozumienie złożonej logiki biznesowej zapisanej w procedurach SQL (stored procedures) Przepisanie i przeprojektowanie tej logiki do Python / PySpark w środowisku Databricks Tworzenie produkcyjnego kodu transformacji danych (moduły, pakiety, komponenty wielokrotnego użytku) Stosowanie dobrych praktyk inżynierii oprogramowania (clean code, OOP, refaktoryzacja) Projektowanie i rozwój modeli danych w architekturze Medallion (Bronze / Silver / Gold) Praca na bardzo dużych wolumenach danych oraz w środowiskach przetwarzania równoległego Udział w code review oraz dyskusjach technicznych Oferujemy: Praca w firmie, która otrzymała nagrodę Great Place to Work Award i Diamentowy Certyfikat Forbesa. Pakiet benefitów (karta multisport, prywatna opieka medyczna, ubezpieczenie grupowe) Udział w projekcie dla międzynarodowego klienta Stabilną współpracę w profesjonalnym środowisku Środowisko pracy ludzi otwartych na dzielenie się i wymianę wiedzą IT.