Applied AI Engineer
⚲ Warszawa
Do uzgodnienia
Wymagania
- Doswiadczenie w budowaniu i utrzymywaniu evalow dla produktu LLM w produkcji
- Pisanie graderow i weryfikacja LLM judge względem ocen ludzkich
- Wykrywanie regresji przed uzytkownikami
Opis stanowiska
Londynski startup Handle buduje agenta AI dla wlascicieli lokalnych firm uslugowych (groomerzy, ksiegowi, cateringu), ktory obsluguje wiadomosci klientow, przypomnienia o fakturach i odpowiedzi na opinie. Bedziesz pierwsza osoba, ktorej cala praca jest jakosc agenta: przejmiesz istniejace evale, zbudujesz rubryki, graderow i bramki regresji, a potem poprowadzisz petle hill-climb na umiejetnosciach agenta. To oferta dla kogos, kto juz w produkcji budowal i utrzymywal evale dla produktu LLM i potrafi oceniac zarowno skutecznosc zadania, jak i jakosc rozmowy.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.