Data Engineer
⚲ Wrocław, Fabryczna
14 000–20 000 zł / mies. (zal. od umowy)
Wymagania
- Microsoft Fabric
- PySpark
- SQL
- Python
- Azure Data Factory
Opis stanowiska
Nasze wymagania:
znajomość języków PySpark oraz SQL,
doświadczenie w technologiach Azure (Microsoft Fabric, Azure Data Factory),
doświadczenie w modelowaniu i integracji danych,
umiejętność rozwiązywania problemów oraz analitycznego i krytycznego myślenia,
doświadczenie w pracy w metodyce Agile Scrum,
doświadczenie z Azure DevOps (Repozytoria, Potoki),
doświadczenie w budowaniu platform danych (relational data warehouse, modern data warehouse, data lakehouse, data fabric).
Mile widziane:
certyfikat DP-203, DP-600, DP-700 lub podobny,
znajomość PowerBI,
znajomość usług dostępnych na platformie Azure,
umiejętność implementowania rozwiązań ML w chmurze.
O projekcie:
Nasz dział oprogramowania nieustannie pracuje nad doskonaleniem produktów, aby spełniać oczekiwania rynku. Do jednego z naszych wewnętrznych InsERT-owych zespołów, poszukujemy Inżyniera Danych, który będzie odpowiedzialny min. za tworzenie, rozwój i zarządzanie procesami transformacji i integracji danych z wykorzystaniem Microsoft Fabric, monitorowanie, analizę procesów, optymalizację wydajności i kosztów dla nowych i istniejących rozwiązań.
Zakres obowiązków:
praca na nowoczesnej platformie danych Microsoft Fabric,
przetwarzanie i transformacja dużych zestawów danych za pomocą języków PySpark i Spark SQL,
modelowanie danych w architekturze medalionu,
budowanie procesów ELT/ETL,
monitorowanie i optymalizacja procesów przetwarzania danych zarówno pod względem wydajnościowym, jak i kosztowym,
dbanie o jakość danych,
refaktoryzacja obecnych rozwiązań,
współpraca z analitykami danych i zespołami biznesowymi w celu znalezienia najlepszego sposobu pobierania i modelowania danych biznesowych,
tworzenie, konfiguracja i implementacja architektur danych opartych o rozwiązanie Microsoft Fabric.
Oferujemy:
otwarte, przyjazne Twoim pomysłom, dynamiczne i pełne wyzwań środowisko, oferujące dużą swobodę i samodzielność w realizacji zadań,
niepowtarzalną, luźną atmosferę wzajemnego wsparcia i szacunku oraz brak oficjalnego dresscode,
współpracę w zgranym, kameralnym zespole,
pracę w nowoczesnym, komfortowym biurze,
możliwość pracy hybrydowej,
sprzęt dopasowany do Twoich potrzeb oraz pokoje projektowe zamiast open-space,
stabilne zatrudnienie w ramach umowy o pracę,
imprezy i integracje firmowe, darmowy parking i udogodnienia dla rowerzystów (wiaty rowerowe oraz prysznice),
inicjatywy i zajęcia sportowe dla naszych pracowników,
kartę sportową (Multisport),
dostęp do prywatnej opieki zdrowotnej (Medicover, PZU), ubezpieczenie na życie (PZU),
pyszną kawę i herbatę oraz dofinansowanie posiłków w ramach firmowej kawiarenki.
znajomość języków PySpark oraz SQL,
doświadczenie w technologiach Azure (Microsoft Fabric, Azure Data Factory),
doświadczenie w modelowaniu i integracji danych,
umiejętność rozwiązywania problemów oraz analitycznego i krytycznego myślenia,
doświadczenie w pracy w metodyce Agile Scrum,
doświadczenie z Azure DevOps (Repozytoria, Potoki),
doświadczenie w budowaniu platform danych (relational data warehouse, modern data warehouse, data lakehouse, data fabric).
Mile widziane:
certyfikat DP-203, DP-600, DP-700 lub podobny,
znajomość PowerBI,
znajomość usług dostępnych na platformie Azure,
umiejętność implementowania rozwiązań ML w chmurze.
O projekcie:
Nasz dział oprogramowania nieustannie pracuje nad doskonaleniem produktów, aby spełniać oczekiwania rynku. Do jednego z naszych wewnętrznych InsERT-owych zespołów, poszukujemy Inżyniera Danych, który będzie odpowiedzialny min. za tworzenie, rozwój i zarządzanie procesami transformacji i integracji danych z wykorzystaniem Microsoft Fabric, monitorowanie, analizę procesów, optymalizację wydajności i kosztów dla nowych i istniejących rozwiązań.
Zakres obowiązków:
praca na nowoczesnej platformie danych Microsoft Fabric,
przetwarzanie i transformacja dużych zestawów danych za pomocą języków PySpark i Spark SQL,
modelowanie danych w architekturze medalionu,
budowanie procesów ELT/ETL,
monitorowanie i optymalizacja procesów przetwarzania danych zarówno pod względem wydajnościowym, jak i kosztowym,
dbanie o jakość danych,
refaktoryzacja obecnych rozwiązań,
współpraca z analitykami danych i zespołami biznesowymi w celu znalezienia najlepszego sposobu pobierania i modelowania danych biznesowych,
tworzenie, konfiguracja i implementacja architektur danych opartych o rozwiązanie Microsoft Fabric.
Oferujemy:
otwarte, przyjazne Twoim pomysłom, dynamiczne i pełne wyzwań środowisko, oferujące dużą swobodę i samodzielność w realizacji zadań,
niepowtarzalną, luźną atmosferę wzajemnego wsparcia i szacunku oraz brak oficjalnego dresscode,
współpracę w zgranym, kameralnym zespole,
pracę w nowoczesnym, komfortowym biurze,
możliwość pracy hybrydowej,
sprzęt dopasowany do Twoich potrzeb oraz pokoje projektowe zamiast open-space,
stabilne zatrudnienie w ramach umowy o pracę,
imprezy i integracje firmowe, darmowy parking i udogodnienia dla rowerzystów (wiaty rowerowe oraz prysznice),
inicjatywy i zajęcia sportowe dla naszych pracowników,
kartę sportową (Multisport),
dostęp do prywatnej opieki zdrowotnej (Medicover, PZU), ubezpieczenie na życie (PZU),
pyszną kawę i herbatę oraz dofinansowanie posiłków w ramach firmowej kawiarenki.
🔍 Dekoder Ogłoszenia
🔴
doświadczenie w budowaniu platform danych (relational data warehouse, modern data warehouse, data lakehouse, data fabric)
Oczekuje się, że kandydat będzie potrafił zaprojektować i wdrożyć od podstaw całą infrastrukturę danych, a nie tylko pracować na istniejących rozwiązaniach.
🔴
praca na nowoczesnej platformie danych Microsoft Fabric
Może oznaczać, że technologia jest nowa i wciąż się rozwija, co może wiązać się z brakiem stabilności lub dokumentacji.
🔴
optymalizację wydajności i kosztów dla nowych i istniejących rozwiązań
Kandydat będzie musiał aktywnie szukać sposobów na zmniejszenie rachunków za chmurę, co może oznaczać presję na cięcie kosztów.
🟡
modelowanie danych w architekturze medalionu
Wymaga to zrozumienia i implementacji konkretnego, często złożonego wzorca architektonicznego, a nie tylko ogólnego modelowania.
🟡
dbanie o jakość danych
Może oznaczać odpowiedzialność za procesy walidacji i czyszczenia danych, które często są czasochłonne i wymagają dużej uwagi.