Data Engineer [M/F]
⚲ Warszawa
20 160 - 23 520 PLN (B2B)
Wymagania
- Python
Opis stanowiska
Wymagania:
- 3–4 lata doświadczenia w obszarze Data Engineering, Machine Learning Engineering, MLOps lub pokrewnym oraz wykształcenie wyższe techniczne,- bardzo dobra znajomość Pythona i doświadczenie w pracy z dużymi zbiorami danych,- doświadczenie w projektowaniu i budowie potoków danych oraz procesów ETL, z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych,- praktyczna znajomość Docker, Kubernetes oraz środowisk chmurowych (preferowane Google Cloud Platform i/lub Microsoft Azure),- znajomość praktyk DevOps, w tym CI/CD, Git oraz środowisk Unix/Linux,- znajomość podstaw Machine Learning i Deep Learning oraz doświadczenie we wdrażaniu i monitorowaniu modeli ML.
Codzienne zadania:
- tworzenie wysokiej jakości, produkcyjnego kodu, głównie w języku Python,
- projektowanie, budowa i rozwój potoków danych oraz procesów ETL,
- projektowanie i automatyzacja potoków DevOps/MLOps w środowiskach chmurowych,
- wykorzystywanie zasobów CPU i GPU w sposób dopasowany do wymagań obciążeń Machine Learning,
- budowanie skalowalnych i wielokrotnego użytku narzędzi oraz frameworków wspierających monitorowanie, optymalizację i utrzymanie rozwiązań ML,
- projektowanie, implementacja i utrzymanie procesów orkiestracji danych oraz workflowów z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych,
- współpraca z zespołami technicznymi i biznesowymi w celu zrozumienia potrzeb biznesowych oraz dostarczania skalowalnych rozwiązań,
- projektowanie, budowa i wsparcie REST API.
- 3–4 lata doświadczenia w obszarze Data Engineering, Machine Learning Engineering, MLOps lub pokrewnym oraz wykształcenie wyższe techniczne,- bardzo dobra znajomość Pythona i doświadczenie w pracy z dużymi zbiorami danych,- doświadczenie w projektowaniu i budowie potoków danych oraz procesów ETL, z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych,- praktyczna znajomość Docker, Kubernetes oraz środowisk chmurowych (preferowane Google Cloud Platform i/lub Microsoft Azure),- znajomość praktyk DevOps, w tym CI/CD, Git oraz środowisk Unix/Linux,- znajomość podstaw Machine Learning i Deep Learning oraz doświadczenie we wdrażaniu i monitorowaniu modeli ML.
Codzienne zadania:
- tworzenie wysokiej jakości, produkcyjnego kodu, głównie w języku Python,
- projektowanie, budowa i rozwój potoków danych oraz procesów ETL,
- projektowanie i automatyzacja potoków DevOps/MLOps w środowiskach chmurowych,
- wykorzystywanie zasobów CPU i GPU w sposób dopasowany do wymagań obciążeń Machine Learning,
- budowanie skalowalnych i wielokrotnego użytku narzędzi oraz frameworków wspierających monitorowanie, optymalizację i utrzymanie rozwiązań ML,
- projektowanie, implementacja i utrzymanie procesów orkiestracji danych oraz workflowów z wykorzystaniem narzędzi takich jak Apache Airflow, Kubeflow lub podobnych,
- współpraca z zespołami technicznymi i biznesowymi w celu zrozumienia potrzeb biznesowych oraz dostarczania skalowalnych rozwiązań,
- projektowanie, budowa i wsparcie REST API.
🔍 Dekoder Ogłoszenia
🔴
3–4 lata doświadczenia w obszarze Data Engineering, Machine Learning Engineering, MLOps lub pokrewnym
Może oznaczać, że szukają kogoś z doświadczeniem w jednym z tych obszarów, ale niekoniecznie we wszystkich, co może być mylące.
🔴
bardzo dobra znajomość Pythona
Często oznacza, że oczekiwana jest biegłość w pisaniu czystego, produkcyjnego kodu, a nie tylko podstawowa znajomość języka.
🔴
doświadczenie w projektowaniu i budowie potoków danych oraz procesów ETL
Może oznaczać zarówno tworzenie prostych skryptów, jak i budowanie złożonych, skalowalnych systemów.
🔴
znajomość praktyk DevOps, w tym CI/CD, Git oraz środowisk Unix/Linux
Choć wymienione, zakres oczekiwanej wiedzy i praktycznego zastosowania może być bardzo szeroki.
🔴
współpraca z zespołami technicznymi i biznesowymi w celu zrozumienia potrzeb biznesowych oraz dostarczania skalowalnych rozwiązań
Może oznaczać, że będziesz musiał często tłumaczyć techniczne aspekty na język biznesu i odwrotnie, co wymaga dobrych umiejętności komunikacyjnych.