Senior Data / ML Engineer

Nasze wymagania: Min. 5 lat doświadczenia w Pythonie i Apache Spark AWS ML SQL (Spark/Hive SQL) Hadoop (big data) O projekcie: Projekt dotyczy rozwoju platformy danych i machine learning w dużej organizacji, gdzie budowane są skalowalne rozwiązania analityczne oparte na technologii Spark, Python oraz usługach chmurowych AWS. Zespół pracuje nad rozwojem pipeline’ów danych oraz wdrażaniem modeli ML wykorzystywanych w wielu obszarach biznesowych. Zakres obowiązków: Zarządzanie pełnym cyklem życia modeli ML – od developmentu po deployment i monitoring Wdrażanie praktyk MLOps (CI/CD, testowanie modeli, monitoring, automatyzacja pipeline’ów) Budowa i utrzymanie pipeline’ów danych w Python i Apache Spark Przetwarzanie dużych wolumenów danych (structured i unstructured) w trybie batch i near real-time Rozwój rozproszonych pipeline’ów big data o wysokiej wydajności i skalowalności Wykorzystanie Spark do transformacji i wzbogacania danych na potrzeby analityki i wizualizacji Współpraca z data scientistami, DevOps oraz zespołami IT Współpraca z analitykami i biznesem przy tworzeniu modeli analitycznych Rozwój i optymalizacja praktyk oraz bibliotek MLOps Exploracja i rozwój rozwiązań AI/ML w środowisku chmurowym