MLOps / Data Engineer (k/m) – z obszarem zainteresowań wokół ML
⚲ Warszawa
16 000–28 000 zł / mies. (zal. od umowy)
Wymagania
- MLOps
- Data Engineering
- Machine Learning
- LLM
- Python
- Kubernetes
- Azure Cosmos DB
- Docker
- CI/CD
- Kafka
- MLflow
- DVC
- GitHub Actions
- Prometheus
- Vector Databases
- vLLM
Opis stanowiska
Nasze wymagania:
Min. 5 lat komercyjnego doświadczenia na stanowisku MLOps, DevOps, Data Engineer lub pokrewnym.
Znajomość środowisk chmurowych (preferowany Azure) oraz narzędzi DevOps (Docker, Kubernetes, Linux).
Praktyczna znajomość narzędzi do budowania systemów MLOps i CI/CD (np. MLflow, DVC, GitHub Actions).
Biegłość w Pythonie oraz doświadczenie z technologiami strumieniowania i przetwarzania danych (Kafka, MQ, bazy wektorowe).
Doświadczenie w optymalizacji silników inferencyjnych (np. vLLM, TGI) oraz znajomość narzędzi monitoringu (Prometheus, Grafana).
O projekcie:
Pracujesz w zespole realizującym projekty B+R i komercyjne z obszaru AI/ML, skupione na dużych danych multimodalnych oraz modelach generatywnych i LLM. Budujemy i rozwijamy platformę ML obejmującą infrastrukturę (on-prem + Azure), pipeline’y danych oraz środowiska do trenowania i wdrażania modeli. Kluczowym obszarem jest skalowanie przetwarzania danych oraz optymalizacja inferencji modeli w środowiskach produkcyjnych.
Zakres obowiązków:
Architektura i Infrastruktura ML: Konfiguracja, optymalizacja i utrzymanie hybrydowych środowisk obliczeniowych (klastry lokalne + chmura Azure) opartych o konteneryzację (Docker) i orkiestrację (Kubernetes z obsługą akceleratorów GPU).
Data Engineering: Budowa i optymalizacja wydajnych pipeline’ów ETL/ELT do przetwarzania dużych wolumenów danych multimodalnych (w tym strumieniowanie danych z wykorzystaniem Kafka/RabbitMQ).
Wdrażanie praktyk MLOps: Wdrażanie i rozwój narzędzi do zarządzania cyklem życia modeli ML (wersjonowanie eksperymentów, modeli i zbiorów danych) oraz budowa potoków CI/CD.
Deploy i Optymalizacja Inferencji: Wdrażanie modeli na środowiska produkcyjne/testowe. Optymalizacja serwerów inferencyjnych (w tym dla dużych modeli językowych) pod kątem wydajności, latencji i zarządzania zasobami (np. VRAM). Praca z wektorowymi bazami danych.
Min. 5 lat komercyjnego doświadczenia na stanowisku MLOps, DevOps, Data Engineer lub pokrewnym.
Znajomość środowisk chmurowych (preferowany Azure) oraz narzędzi DevOps (Docker, Kubernetes, Linux).
Praktyczna znajomość narzędzi do budowania systemów MLOps i CI/CD (np. MLflow, DVC, GitHub Actions).
Biegłość w Pythonie oraz doświadczenie z technologiami strumieniowania i przetwarzania danych (Kafka, MQ, bazy wektorowe).
Doświadczenie w optymalizacji silników inferencyjnych (np. vLLM, TGI) oraz znajomość narzędzi monitoringu (Prometheus, Grafana).
O projekcie:
Pracujesz w zespole realizującym projekty B+R i komercyjne z obszaru AI/ML, skupione na dużych danych multimodalnych oraz modelach generatywnych i LLM. Budujemy i rozwijamy platformę ML obejmującą infrastrukturę (on-prem + Azure), pipeline’y danych oraz środowiska do trenowania i wdrażania modeli. Kluczowym obszarem jest skalowanie przetwarzania danych oraz optymalizacja inferencji modeli w środowiskach produkcyjnych.
Zakres obowiązków:
Architektura i Infrastruktura ML: Konfiguracja, optymalizacja i utrzymanie hybrydowych środowisk obliczeniowych (klastry lokalne + chmura Azure) opartych o konteneryzację (Docker) i orkiestrację (Kubernetes z obsługą akceleratorów GPU).
Data Engineering: Budowa i optymalizacja wydajnych pipeline’ów ETL/ELT do przetwarzania dużych wolumenów danych multimodalnych (w tym strumieniowanie danych z wykorzystaniem Kafka/RabbitMQ).
Wdrażanie praktyk MLOps: Wdrażanie i rozwój narzędzi do zarządzania cyklem życia modeli ML (wersjonowanie eksperymentów, modeli i zbiorów danych) oraz budowa potoków CI/CD.
Deploy i Optymalizacja Inferencji: Wdrażanie modeli na środowiska produkcyjne/testowe. Optymalizacja serwerów inferencyjnych (w tym dla dużych modeli językowych) pod kątem wydajności, latencji i zarządzania zasobami (np. VRAM). Praca z wektorowymi bazami danych.
🔍 Dekoder Ogłoszenia
🔴
Min. 5 lat komercyjnego doświadczenia na stanowisku MLOps, DevOps, Data Engineer lub pokrewnym.
Możliwe, że szukają kogoś, kto ma doświadczenie w jednym z tych obszarów, a niekoniecznie we wszystkich, lub że 5 lat jest elastyczne.
🟡
preferowany Azure
Choć Azure jest preferowany, mogą równie dobrze rozważać kandydatów z silnym doświadczeniem w AWS lub GCP, jeśli reszta wymagań jest spełniona.
🔴
Budowa i optymalizacja wydajnych pipeline’ów ETL/ELT do przetwarzania dużych wolumenów danych multimodalnych
Może oznaczać, że będą potrzebne znaczące wysiłki w celu stworzenia i usprawnienia istniejących procesów, a nie tylko praca z gotowymi rozwiązaniami.
🟡
skupione na dużych danych multimodalnych oraz modelach generatywnych i LLM
Praca może być bardzo niszowa i wymagać specjalistycznej wiedzy, która nie jest powszechna na rynku.
🔴
hybrydowych środowisk obliczeniowych (klastry lokalne + chmura Azure)
Zarządzanie infrastrukturą hybrydową może być bardziej skomplikowane i czasochłonne niż praca wyłącznie w chmurze.