T-Hub - AIOps Engineer - AI Infrastructure & Orchestration
⚲ Warszawa, Mokotów
Do uzgodnienia
Wymagania
- min. 5 lat doświadczenia w DevOps, SRE, Platform Engineering lub Infrastructure Operations
- min. 2 lata praktycznego wsparcia MLOps, infrastruktury AI lub platform LLM
- doświadczenie w deployowaniu i utrzymaniu produkcyjnych platform inferencji opartych o vLLM
- znajomość koncepcji serwowania LLM: Paged Attention, continuous batching, optymalizacja inferencji
- praktyczna znajomość technologii GPU NVIDIA: sterowniki CUDA, NVIDIA Container Toolkit, troubleshooting GPU
- doświadczenie w budowaniu rozwiązań observability (custom metrics, eksportery, dashboardy, alerty)
- dobre umiejętności programowania w Pythonie (automatyzacja, tooling operacyjny)
- doświadczenie w administracji Kubernetes i OpenShift w środowiskach produkcyjnych
Opis stanowiska
Rola w T-Mobile przy budowie i utrzymaniu infrastruktury AI/ML — konkretnie platformy inferencji opartej o vLLM działającej na OpenShift/Kubernetes na bare-metalowych serwerach z GPU NVIDIA. Będziesz zarządzać alokacją GPU, automatyzować cykl życia modeli (onboarding, wersjonowanie, hot-swap, rollback), optymalizować parametry serwowania oraz budować observability i mechanizmy rozliczania zużycia tokenów per API key/zespół. To oferta dla kogoś, kto ma już realne doświadczenie z produkcyjnym serwowaniem LLM i GPU, a nie tylko z klasycznym DevOps — wymagania są bardzo konkretne i wąskie.
🔍 Dekoder Ogłoszenia
🟡
AI Infrastructure & Orchestration
Brzmi nowocześnie i prestiżowo, ale w praktyce oznacza utrzymywanie GPU, sterowników CUDA i platform inferencyjnych — praca bliżej SRE/ops niż 'AI'.
🟡
Proven experience deploying and operating vLLM-based inference platforms in production
Bardzo wąskie, niszowe wymaganie — realnie zawęża pulę kandydatów do osób z konkretnym doświadczeniem, co może oznaczać długie poszukiwania lub oczekiwanie, że kandydat nauczy się tego na stanowisku.
🟡
Deep knowledge of NVIDIA GPU technologies, CUDA drivers, NVIDIA Container Toolkit, and GPU troubleshooting
Uczciwie wskazuje, że spora część pracy to troubleshooting sprzętu i sterowników, a nie 'AI' w rozumieniu modelowania.