AI Quality Engineer
Aviva Services Excellence Centre
⚲ Warszawa
Do uzgodnienia
Wymagania
- doświadczenie w quality engineering, testowaniu, automatyzacji testów, data science lub software engineering (różne poziomy seniority)
- doświadczenie lub silne zainteresowanie rozwiązaniami AI (rozwój, testowanie, ewaluacja lub wsparcie)
- dobra znajomość Pythona i pisania czystego, utrzymywalnego kodu do analizy, automatyzacji lub testów
- umiejętność przekładania celów biznesowych i ryzyk na praktyczne podejścia ewaluacyjne
Mile widziane
- doświadczenie w ewaluacji, testowaniu lub monitorowaniu systemów AI na produkcji
- praca z danymi strukturalnymi (JSON, logi, tabelaryczne wyniki ewaluacji)
- znajomość zachowania LLM (tokenizacja, limity kontekstu, niedeterminizm) oraz RAG, guardrails, prompt injection, tool calling
- praktyki inżynierskie: Git, modularny kod, zarządzanie konfiguracją, testy automatyczne
Opis stanowiska
Rola w zespole jakości AI w Aviva: przekładasz oczekiwania biznesowe i ryzyka na mierzalne kryteria ewaluacji systemów konwersacyjnych i niedeterministycznych, budujesz reprezentatywne datasety i rozróżniasz awarie modelu od błędów w retrieval, promptach, guardrails czy danych źródłowych. To praca analityczno-inżynierska — dużo projektowania metod oceny, walidacji ewaluatorów (w tym LLM-as-a-Judge) względem ludzkiej oceny i komunikowania niepewności wyników interesariuszom. Dobra oferta dla osoby z doświadczeniem w testowaniu lub data science, która interesuje się zachowaniem modeli LLM i chce wejść w ewaluację AI — firma dopuszcza różne poziomy seniority.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.