Data Engineer [M/F]
⚲ Warszawa
20 160 - 23 520 PLN (B2B)
Wymagania
- Python
Opis stanowiska
Wymagania:
- 3–4 lata doświadczenia w obszarze Data Engineering, Machine Learning Engineering, MLOps lub pokrewnym oraz wykształcenie wyższe techniczne,- bardzo dobra znajomość Pythona i doświadczenie w pracy z dużymi zbiorami danych,- doświadczenie w projektowaniu i budowie potoków danych oraz procesów ETL, z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych,- praktyczna znajomość Docker, Kubernetes oraz środowisk chmurowych (preferowane Google Cloud Platform i/lub Microsoft Azure),- znajomość praktyk DevOps, w tym CI/CD, Git oraz środowisk Unix/Linux,- znajomość podstaw Machine Learning i Deep Learning oraz doświadczenie we wdrażaniu i monitorowaniu modeli ML.
Codzienne zadania:
- tworzenie wysokiej jakości, produkcyjnego kodu, głównie w języku Python,
- projektowanie, budowa i rozwój potoków danych oraz procesów ETL,
- projektowanie i automatyzacja potoków DevOps/MLOps w środowiskach chmurowych,
- wykorzystywanie zasobów CPU i GPU w sposób dopasowany do wymagań obciążeń Machine Learning,
- budowanie skalowalnych i wielokrotnego użytku narzędzi oraz frameworków wspierających monitorowanie, optymalizację i utrzymanie rozwiązań ML,
- projektowanie, implementacja i utrzymanie procesów orkiestracji danych oraz workflowów z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych,
- współpraca z zespołami technicznymi i biznesowymi w celu zrozumienia potrzeb biznesowych oraz dostarczania skalowalnych rozwiązań,
- projektowanie, budowa i wsparcie REST API.
- 3–4 lata doświadczenia w obszarze Data Engineering, Machine Learning Engineering, MLOps lub pokrewnym oraz wykształcenie wyższe techniczne,- bardzo dobra znajomość Pythona i doświadczenie w pracy z dużymi zbiorami danych,- doświadczenie w projektowaniu i budowie potoków danych oraz procesów ETL, z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych,- praktyczna znajomość Docker, Kubernetes oraz środowisk chmurowych (preferowane Google Cloud Platform i/lub Microsoft Azure),- znajomość praktyk DevOps, w tym CI/CD, Git oraz środowisk Unix/Linux,- znajomość podstaw Machine Learning i Deep Learning oraz doświadczenie we wdrażaniu i monitorowaniu modeli ML.
Codzienne zadania:
- tworzenie wysokiej jakości, produkcyjnego kodu, głównie w języku Python,
- projektowanie, budowa i rozwój potoków danych oraz procesów ETL,
- projektowanie i automatyzacja potoków DevOps/MLOps w środowiskach chmurowych,
- wykorzystywanie zasobów CPU i GPU w sposób dopasowany do wymagań obciążeń Machine Learning,
- budowanie skalowalnych i wielokrotnego użytku narzędzi oraz frameworków wspierających monitorowanie, optymalizację i utrzymanie rozwiązań ML,
- projektowanie, implementacja i utrzymanie procesów orkiestracji danych oraz workflowów z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych,
- współpraca z zespołami technicznymi i biznesowymi w celu zrozumienia potrzeb biznesowych oraz dostarczania skalowalnych rozwiązań,
- projektowanie, budowa i wsparcie REST API.
🔍 Dekoder Ogłoszenia
🟡
3–4 lata doświadczenia w obszarze Data Engineering, Machine Learning Engineering, MLOps lub pokrewnym
Szukają kogoś, kto ma już pewne doświadczenie, ale niekoniecznie musi być ekspertem w każdej z wymienionych dziedzin.
🟡
bardzo dobra znajomość Pythona
Oczekują biegłości w Pythonie, prawdopodobnie na poziomie pozwalającym na samodzielne pisanie złożonego kodu produkcyjnego.
🟡
doświadczenie w projektowaniu i budowie potoków danych oraz procesów ETL, z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych
Kluczowe jest praktyczne doświadczenie w budowaniu przepływów danych, a znajomość konkretnych narzędzi jest ważna, ale otwarta na alternatywy.
🟡
praktyczna znajomość Docker, Kubernetes oraz środowisk chmurowych (preferowane Google Cloud Platform i/lub Microsoft Azure)
Wymagana jest umiejętność pracy z kontenerami i orkiestracją, a preferowane chmury sugerują, że jedno z nich jest kluczowe.
🟡
znajomość podstaw Machine Learning i Deep Learning oraz doświadczenie we wdrażaniu i monitorowaniu modeli ML
Nie oczekują od kandydata tworzenia nowych algorytmów ML, ale umiejętności praktycznego zastosowania i utrzymania istniejących modeli.