QA Engineer (AI + backend)
⚲ Warszawa
26 880 - 28 560 PLN netto (B2B)
Wymagania
- doświadczenie w testowaniu API (REST, JSON, przepływy tokenów, obsługa błędów)
- testy kontraktowe z Pact (consumer-driven contract testing)
- doświadczenie w ewaluacji LLM: golden sets, metryki jakości odpowiedzi, wykrywanie regresji
- umiejętność lokalizowania błędów w całym stacku (logi, trace'y, zapytania do bazy)
- znajomość Postman i Swagger/OpenAPI
- praca w Agile/Scrum, Jira, TestRail
Mile widziane
- doświadczenie w testowaniu pod kątem bezpieczeństwa API (autoryzacja, tokeny, malformed input)
Opis stanowiska
Przejęcie produkcyjnej platformy AI coachingu mobilnego dla klienta z USA — rola obejmuje jakość dwóch najtrudniejszych warstw: niedeterministycznych odpowiedzi agentów LLM (LangGraph) oraz warstwy API. Będziesz budować praktykę ewaluacji modeli (golden sets, metryki jakości, wykrywanie regresji) oraz testy kontraktowe z Pact. Kluczowa umiejętność to lokalizowanie błędów — rozróżnianie, czy problem leży w modelu, kodzie serwisu czy danych wejściowych. Uwaga: 'własność jakości' na tych powierzchniach oznacza dużą odpowiedzialność i potencjalnie dużą presję przy ograniczonym wsparciu — cały ciężar może spaść na jedną osobę.
🔍 Dekoder Ogłoszenia
🟡
Real users, real production, real releases — not a greenfield project.
Podkreślenie braku greenfieldu może sygnalizować dług techniczny, legacy code i konieczność pracy z istniejącymi problemami bez możliwości ich przeprojektowania.
🟡
the LLM agents that answer differently every run
Uczciwe wskazanie, że testowanie niedeterministycznych systemów AI będzie trudne i wymaga niestandardowego podejścia — to realne wyzwanie, nie marketing.
🔴
Own quality on the two hardest surfaces
Sugeruje wysoką odpowiedzialność i potencjalnie dużą presję przy ograniczonym wsparciu — 'własność' jakości może oznaczać, że cały ciężar spada na jedną osobę.
🟡
agreed with the client's US engineering team
Wskazuje na pracę z zespołem w innej strefie czasowej, co może oznaczać wczesne lub późne godziny spotkań.