Tester LLM

Nasze wymagania: Doświadczenie w QA - testy manualne aplikacji webowych i API Umiejętność pisania dobrych scenariuszy testowych i precyzyjnych raportów błędów Podstawowa znajomość API (HTTP, JSON, narzędzia typu Postman) Dokładność, systematyczność i dobra komunikacja z zespołem developerskim Mile widziane: Doświadczenie w testowaniu systemów AI / chatbotów / modeli językowych Automatyzacja testów Testy aplikacji mobilnych (iOS/Android) O projekcie: Odpowiadasz za jakość całego ekosystemu - portalu webowego, aplikacji mobilnej, API i modułów AI. Ta ostatnia część jest niestandardowa: testujesz jakość odpowiedzi modelu językowego (spójność, brak halucynacji, cytowanie źródeł) we współpracy z AI Engineerem i ekspertami merytorycznymi. Budujesz zestawy testowe i procesy kontroli jakości dla systemu RAG. Zakres obowiązków: • Testy funkcjonalne i regresyjne: portal web, API, aplikacja mobilna • Projektowanie przypadków testowych, checklist i test planów • Testy modułów AI - niestandardowy zakres: – budowa i utrzymanie golden set (zestawy pytań z oczekiwanymi odpowiedziami) – ocena jakości odpowiedzi modelu: spójność, powtarzalność, poprawność cytowań – wykrywanie halucynacji i niepożądanych zachowań – współpraca z AI Engineerem i ekspertami przy poprawkach i retestach • Raportowanie błędów: ticketowanie, reprodukcja, komunikacja z developerami • Udział w procesie release: weryfikacja poprawek, smoke testy, kontrola produkcji