Databricks Data Engineer

Poznaj Onwelo: Jesteśmy nowoczesną polską firmą technologiczną, która dostarcza wsparcie eksperckie organizacjom na całym świecie. Tworzymy, rozwijamy i utrzymujemy zaawansowane rozwiązania IT, oferując przy tym solidne zaplecze kompetencyjne. W ciągu kilku lat zrealizowaliśmy ponad 300 projektów w Europie i USA, dynamicznie rozbudowując zespół do kilkuset specjalistów i otwierając kilka biur w Polsce oraz oddziały w USA, Niemczech i Szwajcarii. O projekcie: Do naszego zespołu poszukujemy Databricks Data Engineera, który dołączy do jednego z realizowanych przez nas projektów dla międzynarodowych klientów z branż takich jak finanse, retail czy sport & lifestyle. Projekty koncentrują się na budowie oraz modernizacji platform danych w chmurze Azure, w tym wdrażaniu i rozwoju rozwiązań opartych o Azure Databricks. Zakres prac obejmuje zarówno projekty migracyjne (z rozwiązań on-premise do chmury), jak i wdrożenia platform danych od podstaw. W zależności od projektu, współpracujemy z zespołami klienta przy analizie istniejących procesów, projektowaniu architektury docelowej oraz rozwoju kolejnych warstw przetwarzania danych. Z nami będziesz: • Projektować, rozwijać i utrzymywać pipeline’y danych w Azure Databricks z wykorzystaniem Apache Spark (PySpark, SQL) • Pisać wydajny, czytelny i testowalny kod w Pythonie, wykorzystywany w pipeline’ach danych oraz komponentach wspierających przetwarzanie danych (OOP) • Uczestniczyć w analizie istniejących procesów danych oraz projektowaniu ich docelowego kształtu w środowisku Azure • Migrować i refaktoryzować procesy przetwarzania danych do architektury data lake / lakehouse • Optymalizować wydajność przetwarzania danych oraz koszty rozwiązań chmurowych • Współpracować z zespołami klienta i Onwelo przy realizacji projektów data-driven • Dbać o jakość danych, stabilność pipeline’ów oraz dokumentację techniczne Czekamy na Ciebie, jeśli: • Masz komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark • Swobodnie pracujesz z PySpark oraz SQL • Posiadasz zaawansowaną znajomość języka Python, w tym: projektowanie modułowego i reużywalnego kodu w oparciu o OOP, obsługę wyjątków, logging oraz konfigurację środowisk, pisanie testów i dbanie o jakość kodu • Pracujesz zgodnie z najlepszymi praktykami Data Engineering: wersjonowanie kodu, code review, CI/CD, dokumentacja techniczna • Znasz zagadnienia związane z data lake, lakehouse oraz przetwarzaniem dużych wolumenów danych • Potrafisz współpracować w środowisku projektowym i komunikować się w języku angielskim Dowiedz się, jak skorzystasz, będąc w Onwelo: • Wybierzesz wygodną dla Ciebie formę zatrudnienia • Otrzymasz możliwość korzystania z elastycznych godzin pracy • Praca w trybie hybrydowym lub zdalnym • Zaoszczędzisz czas na dojazdach – pracuj w naszym atrakcyjnie zlokalizowanym biurze w jednym z 5 miast w Polsce • Rozwiniesz swoje umiejętności, współpracując z doświadczonymi ekspertami • Będziesz pracować z wykorzystaniem nowych technologii • Uzyskasz dostęp do szkoleń wewnętrznych • Weźmiesz udział w ciekawych projektach dla polskich i międzynarodowych klientów • Będzie na Ciebie czekać przyjazne i komfortowe środowisko pracy • Integracje firmowe pozwolą Ci na bliższe poznanie zespołu • Zabezpieczysz swoją przyszłość, korzystając z dodatkowego ubezpieczenia na życie • Z prywatną opieką medyczną zadbasz o zdrowie swoje i swoich bliskich • Karta MultiSport Plus umożliwi Ci prowadzenie aktywnego trybu życia