Senior Data Scientist – AI/LLM Evaluation
SQUARE ONE RESOURCES sp. z o.o.
⚲ Warszawa
140–170 zł netto (+ VAT) / godz.
Wymagania
- doświadczenie na stanowisku Senior Data Scientist lub podobnym
- hands-on experience z ewaluacją AI/LLM
- doświadczenie w projektowaniu, walidacji i optymalizacji metryk ewaluacyjnych dla modeli AI/ML
- doświadczenie w analizie błędów modeli (false positives, false negatives)
- praca z ground-truth datasets i definiowaniem kryteriów jakości
Mile widziane
- znajomość LLM-as-a-Judge / systemów ewaluacji opartych na LLM
- doświadczenie z human-in-the-loop evaluation
- doświadczenie w ewaluacji agentów AI lub systemów agentowych
Opis stanowiska
Square One Resources szuka Senior Data Scientist do międzynarodowego projektu skupionego na ewaluacji jakości modeli LLM i systemów agentowych. Będziesz projektować metryki oceny, budować zbiory ground-truth, analizować błędy modeli (false positives/negatives) oraz rozwijać metody ewaluacji oparte na LLM-as-a-Judge i feedbacku ludzkim. To rola dla osoby, która lubi pracę badawczo-analityczną i chce wpływać na to, jak mierzy się jakość AI, a nie tylko trenować modele.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.