AI Quality Engineering Team Lead
Aviva Services Excellence Centre
⚲ Warszawa
Do uzgodnienia
Wymagania
- kilka lat doświadczenia w quality engineering, testowaniu, software engineering, data science lub pokrewnej dziedzinie
- praktyczne doświadczenie w ewaluacji aplikacji AI, LLM, RAG lub agentowych
- praktyczna znajomość Pythona oraz pracy z API, logami, traces i danymi strukturalnymi (SQL)
- umiejętność projektowania powtarzalnych ewaluacji i automatyzacji, nie tylko testów manualnych
- doświadczenie w testach automatycznych, kontroli wersji i CI/CD
- doświadczenie w coachingu lub prowadzeniu inżynierów
Mile widziane
- doświadczenie w prowadzeniu projektów lub zarządzaniu ludźmi
- znajomość narzędzi ewaluacji/obserwowalności AI (DeepEval, Arize lub podobne) oraz kontekst regulated industry (finanse, ubezpieczenia)
Opis stanowiska
Aviva buduje zespół odpowiedzialny za jakość rozwiązań AI — nie chodzi o klasyczne testowanie, lecz o projektowanie powtarzalnych ewaluacji modeli LLM, systemów RAG i aplikacji agentowych oraz włączanie ich w CI/CD i obserwowalność. Będziesz liderem: oceniasz zachowanie systemów (grounding, guardrails, halucynacje, drift), budujesz frameworki ewaluacyjne wielokrotnego użytku i przekładasz wyniki techniczne na dowody dla biznesu, ryzyka i compliance. To oferta dla osoby z doświadczeniem w quality engineering lub data science, która realnie pracowała z ewaluacją AI i chce łączyć rolę techniczną z prowadzeniem zespołu w obszarze, gdzie standardy dopiero się kształtują.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.