Data Engineer (Microsoft Fabric)
⚲ Warszawa
125–160 zł netto (+ VAT) / godz.
Wymagania
- Python
- Microsoft Fabric
- PySpark
Opis stanowiska
Nasze wymagania:
Minimum 3 lata doświadczenia na stanowisku Data Engineer przy realizacji produkcyjnych projektów danych.
Bardzo dobra znajomość Python, PySpark oraz SQL i doświadczenie w pracy z dużymi zbiorami danych.
Praktyczne doświadczenie z Microsoft Fabric lub pokrewnymi platformami, takimi jak Azure Synapse czy Databricks.
Znajomość architektury warstwowej danych, np. Medallion Architecture, oraz formatów Delta Lake / Parquet.
Doświadczenie w projektowaniu i implementacji pipeline’ów danych oraz integracji różnorodnych źródeł, w tym plików Excel i baz danych.
Praktyczna znajomość Git oraz pracy zespołowej z wykorzystaniem code review i CI/CD.
Doświadczenie w implementacji mechanizmów Data Quality, walidacji danych i raportowania błędów.
Znajomość zasad bezpieczeństwa i ochrony danych w środowisku Azure oraz gotowość do pracy z wymaganiami dotyczącymi prywatności i audytowalności.
Umiejętność optymalizacji procesów przetwarzania danych pod kątem wydajności i kosztów.
Mile widziane: certyfikaty DP-600 / DP-700, doświadczenie w sektorze finansowym, znajomość R, CI/CD dla platform danych oraz praca w metodykach Agile/Scrum.
O projekcie:
Projekt który będziemy gotowi Ci zaproponować dotyczy rozwoju i utrzymania procesów data engineeringowych w środowisku Microsoft Fabric i Azure. W ramach projektu będziesz odpowiadać za projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark, onboarding i integrację źródeł danych, transformacje oraz przygotowanie danych wsadowych. Istotnym elementem będzie również zapewnienie jakości, wersjonowania i bezpieczeństwa danych oraz automatyzacja wdrożeń z wykorzystaniem Git i CI/CD. Projekt realizowany jest w środowisku o wysokich wymaganiach w zakresie bezpieczeństwa i audytowalności.
Zakres obowiązków:
Poszukujemy osoby o profilu Data Engineer / Senior Data Engineer Microsoft Fabric, która posiada min. 3 lat komercyjnego doświadczenia.
Wiodący stack technologiczny: Microsoft Fabric, Azure Data Factory, PySpark, Python, SQL, Delta Lake, Parquet, Microsoft Azure, Git, CI/CD, Azure Synapse, Databricks, Data Quality, Excel, R.
Oferujemy:
Współpracując z naszą organizacją będziesz mógł/mogła liczyć na:
Ugruntowaną pozycją rynkową
Projekty, w których będziesz miał/miała wpływ na ich rozwój
Współpracę z atrakcyjnymi klientami biznesowymi z różnych branż (m.in.: finanse, bankowość, ubezpieczenia, healthcare, robotyzacja, energetyka, media)
Bieżące informacje projektowe oraz stały dostęp do dokumentacji niezbędnej do realizacji zadań (np. Git, Gitflow, Angular, Docker, Primaris x TechTalks, Primaris Leadership Academy)
Świetną atmosferę współpracy podczas realizacji projektów wśród zaangażowanych ludzi z pasją
Cały proces nawiązywania współpracy oraz onboarding prowadzony jest zdalnie.
Proces nawiązywania współpracy składa się z:
rozmowy telefonicznej (do 30 min)
zdalnego spotkania z Product Owner projektu (30-60 min)
Minimum 3 lata doświadczenia na stanowisku Data Engineer przy realizacji produkcyjnych projektów danych.
Bardzo dobra znajomość Python, PySpark oraz SQL i doświadczenie w pracy z dużymi zbiorami danych.
Praktyczne doświadczenie z Microsoft Fabric lub pokrewnymi platformami, takimi jak Azure Synapse czy Databricks.
Znajomość architektury warstwowej danych, np. Medallion Architecture, oraz formatów Delta Lake / Parquet.
Doświadczenie w projektowaniu i implementacji pipeline’ów danych oraz integracji różnorodnych źródeł, w tym plików Excel i baz danych.
Praktyczna znajomość Git oraz pracy zespołowej z wykorzystaniem code review i CI/CD.
Doświadczenie w implementacji mechanizmów Data Quality, walidacji danych i raportowania błędów.
Znajomość zasad bezpieczeństwa i ochrony danych w środowisku Azure oraz gotowość do pracy z wymaganiami dotyczącymi prywatności i audytowalności.
Umiejętność optymalizacji procesów przetwarzania danych pod kątem wydajności i kosztów.
Mile widziane: certyfikaty DP-600 / DP-700, doświadczenie w sektorze finansowym, znajomość R, CI/CD dla platform danych oraz praca w metodykach Agile/Scrum.
O projekcie:
Projekt który będziemy gotowi Ci zaproponować dotyczy rozwoju i utrzymania procesów data engineeringowych w środowisku Microsoft Fabric i Azure. W ramach projektu będziesz odpowiadać za projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark, onboarding i integrację źródeł danych, transformacje oraz przygotowanie danych wsadowych. Istotnym elementem będzie również zapewnienie jakości, wersjonowania i bezpieczeństwa danych oraz automatyzacja wdrożeń z wykorzystaniem Git i CI/CD. Projekt realizowany jest w środowisku o wysokich wymaganiach w zakresie bezpieczeństwa i audytowalności.
Zakres obowiązków:
Poszukujemy osoby o profilu Data Engineer / Senior Data Engineer Microsoft Fabric, która posiada min. 3 lat komercyjnego doświadczenia.
Wiodący stack technologiczny: Microsoft Fabric, Azure Data Factory, PySpark, Python, SQL, Delta Lake, Parquet, Microsoft Azure, Git, CI/CD, Azure Synapse, Databricks, Data Quality, Excel, R.
Oferujemy:
Współpracując z naszą organizacją będziesz mógł/mogła liczyć na:
Ugruntowaną pozycją rynkową
Projekty, w których będziesz miał/miała wpływ na ich rozwój
Współpracę z atrakcyjnymi klientami biznesowymi z różnych branż (m.in.: finanse, bankowość, ubezpieczenia, healthcare, robotyzacja, energetyka, media)
Bieżące informacje projektowe oraz stały dostęp do dokumentacji niezbędnej do realizacji zadań (np. Git, Gitflow, Angular, Docker, Primaris x TechTalks, Primaris Leadership Academy)
Świetną atmosferę współpracy podczas realizacji projektów wśród zaangażowanych ludzi z pasją
Cały proces nawiązywania współpracy oraz onboarding prowadzony jest zdalnie.
Proces nawiązywania współpracy składa się z:
rozmowy telefonicznej (do 30 min)
zdalnego spotkania z Product Owner projektu (30-60 min)
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.