Data Engineer (Microsoft Fabric)
⚲ Warszawa, Ochota
120–150 zł netto (+ VAT) / godz.
Wymagania
- Python
- SQL
- Git
- R
Opis stanowiska
Nasze wymagania:
minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,
praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych,
doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks,
znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet,
doświadczenie w pracy z systemem kontroli wersji Git,
doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych,
gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa.
Mile widziane:
certyfikat DP-600 lub DP-700,
doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,
znajomość języka R,
doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych,
doświadczenie z frameworkami Data Quality,
doświadczenie w metodykach Agile i Scrum.
O projekcie:
W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.
Obszary naszej działalności obejmują m.in.:
• doradztwo technologiczne,
• tworzenie oprogramowania,
• systemy wbudowane,
• rozwiązania chmurowe,
• zarządzanie danymi,
• dedykowane zespoły projektowe.
Cześć! Poznaj możliwości współpracy ze Scalo!
Zakres obowiązków:
projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric,
onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych,
realizację transformacji danych oraz przygotowanie danych wsadowych,
implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów,
wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji,
realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD,
współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych,
zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure,
optymalizację procesów pod kątem wydajności i kosztów,
udział w projekcie realizowanym w branży ubezpieczeniowej,
model współpracy: hybrydowy (1x w tygodniu w Warszawie),
stawka do 150 PLN/h w oparciu o współpracę B2B.
Oferujemy:
możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.
minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,
praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych,
doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks,
znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet,
doświadczenie w pracy z systemem kontroli wersji Git,
doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych,
gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa.
Mile widziane:
certyfikat DP-600 lub DP-700,
doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,
znajomość języka R,
doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych,
doświadczenie z frameworkami Data Quality,
doświadczenie w metodykach Agile i Scrum.
O projekcie:
W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.
Obszary naszej działalności obejmują m.in.:
• doradztwo technologiczne,
• tworzenie oprogramowania,
• systemy wbudowane,
• rozwiązania chmurowe,
• zarządzanie danymi,
• dedykowane zespoły projektowe.
Cześć! Poznaj możliwości współpracy ze Scalo!
Zakres obowiązków:
projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric,
onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych,
realizację transformacji danych oraz przygotowanie danych wsadowych,
implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów,
wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji,
realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD,
współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych,
zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure,
optymalizację procesów pod kątem wydajności i kosztów,
udział w projekcie realizowanym w branży ubezpieczeniowej,
model współpracy: hybrydowy (1x w tygodniu w Warszawie),
stawka do 150 PLN/h w oparciu o współpracę B2B.
Oferujemy:
możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.