Senior Data Engineer – Microsoft Fabric / Azure

Nasze wymagania:
minimum 3 lat komercyjnego doświadczenia jako Data Engineer przy rozwiązaniach produkcyjnych,
bardzo dobrej znajomości Python/PySpark oraz SQL i doświadczenia w pracy z dużymi zbiorami danych,
praktycznego doświadczenia z Microsoft Fabric, Azure Synapse lub Databricks,
doświadczenia w projektowaniu i rozwijaniu pipeline’ów przetwarzania danych,
znajomości architektury medalionowej (Medallion Architecture) lub podobnego podejścia do warstwowej organizacji danych,
praktycznej znajomości formatów Delta / Parquet,
doświadczenia w integracji danych pochodzących z różnych źródeł – w tym baz danych oraz plików,
doświadczenia w przetwarzaniu plików Excel dostarczanych przez użytkowników biznesowych,
praktycznej znajomości Git i pracy z repozytorium w zespole,
znajomości dobrych praktyk związanych z jakością, bezpieczeństwem i przetwarzaniem danych,
gotowości do pracy hybrydowej w Warszawie – minimum 1 dzień w tygodniu z biura.

Mile widziane:
certyfikat Microsoft DP-600 lub DP-700,
doświadczenie w sektorze finansowym, ubezpieczeniowym lub innym środowisku o wysokich wymaganiach audytowych,
znajomość języka R,
praktyczne doświadczenie z CI/CD dla platform danych,
doświadczenie z frameworkami i rozwiązaniami Data Quality,
doświadczenie w pracy w środowisku Agile / Scrum.

O projekcie:
Dołącz do zespołu realizującego strategiczne projekty danych dla lidera branży ubezpieczeniowej w Polsce. Poszukujemy Data Engineera / Senior Data Engineera, który będzie odpowiedzialny za projektowanie i rozwój procesów przetwarzania danych, integrację różnorodnych źródeł oraz budowę niezawodnych pipeline’ów w środowisku Microsoft Fabric / Azure. Rola łączy pracę z Pythonem (PySpark), SQL, Data Factory oraz architekturą danych z odpowiedzialnością za jakość, bezpieczeństwo, wydajność i odpowiednie wersjonowanie danych. Projekt realizowany jest w środowisku o wysokich wymaganiach dotyczących bezpieczeństwa i audytowalności. Praca w modelu hybrydowym w Warszawie – 1 dzień w tygodniu z biura.

Zakres obowiązków:
projektowanie i implementacja pipeline’ów danych w Data Factory,
tworzenie i rozwój notebooków PySpark w Microsoft Fabric,
integracja i onboarding różnorodnych źródeł danych – zarówno plikowych, jak i bazodanowych,
przeprowadzanie technicznej walidacji danych i standaryzacja ich formatów,
tworzenie transformacji oraz przygotowywanie danych wsadowych,
implementacja reguł Data Quality oraz mechanizmów identyfikowania i raportowania błędów,
wersjonowanie zbiorów danych oraz zapisywanie metadanych dotyczących przebiegu procesów, źródeł i parametrów,
rozwój rozwiązań zgodnie z dobrymi praktykami Git, CI/CD oraz code review,
współpraca z zespołami biznesowymi, w tym obszarem Ryzyka, przy definiowaniu reguł transformacji danych,
dbanie o zgodność przetwarzania danych z wymaganiami dotyczącymi prywatności i bezpieczeństwa,
integracja standardów bezpieczeństwa organizacji ze środowiskiem Azure,
optymalizacja procesów danych pod kątem wydajności i kosztów.