Senior Automation Test Engineer – AI Systems (f/m/x)
⚲ Białystok, Centrum, Bydgoszcz, Gdańsk, Oliwa, Katowice, Kraków, Podgórze, Lublin, Łódź, Śródmieście, Piła, Poznań, Wilda, Rzeszów, Szczecin, Toruń, Warszawa, Mokotów, Wrocław, Fabryczna
Do uzgodnienia
Wymagania
- min. 5 lat doświadczenia w testowaniu lub inżynierii jakości, w tym min. 2 lata w testowaniu AI/ML, LLM lub systemów agentowych
- biegłość w Pythonie do testów backendu/AI oraz znajomość JavaScript/TypeScript (Node.js, Angular)
- doświadczenie z frameworkami ewaluacyjnymi (LangSmith, Langfuse, EvidentlyAI, Ragas, MLflow)
- znajomość koncepcji monitoringu driftu ML oraz narzędzi observability (Datadog, Grafana)
- umiejętność budowania produkcyjnej infrastruktury testowej i ewaluacyjnej od podstaw
- zaawansowany język angielski
Mile widziane
- znajomość wzorców projektowych agentów i ich dekompozycji na testowalne jednostki
- doświadczenie w pracy w regulowanym środowisku ochrony zdrowia
Opis stanowiska
Rola Senior QA w projekcie budowy systemu operacyjnego opartego na AI dla marketingu w ochronie zdrowia. Wyjdziesz poza klasyczne testy E2E — będziesz projektować i utrzymywać frameworki ewaluacji LLM-ów i agentów, budować automatyczne scoringi i testy mierzące halucynacje, poprawność rozumowania i użycia narzędzi, a także wdrażać monitoring driftu modeli i telemetrię kosztów oraz jakości. Oferta dla doświadczonego QA z realnym doświadczeniem w testowaniu AI/ML i umiejętnością budowania infrastruktury testowej od zera.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.