Senior Automation Test Engineer – AI Systems (f/m/x)
⚲ Lublin, Białystok, Bydgoszcz, Kraków, Katowice, Łódź, Poznań, Rzeszów, Szczecin, Gdańsk, Piła, Toruń, Warszawa, Wrocław
Do uzgodnienia
Wymagania
- min. 5 lat doświadczenia w testowaniu oprogramowania lub inżynierii jakości
- min. 2 lata doświadczenia w testowaniu lub ocenie aplikacji AI/ML, przepływów LLM lub systemów agentowych
- biegłość w Pythonie do skryptów testowych backend/AI
- znajomość JavaScript/TypeScript w ekosystemach Node.js i Angular
- doświadczenie z ramami oceny: LangSmith, Langfuse, EvidentlyAI, Ragas lub MLflow
- znajomość koncepcji monitorowania dryfu ML oraz narzędzi obserwowalności (Datadog lub Grafana)
- umiejętność budowania infrastruktury testowej i oceny opartej na produkcji od podstaw
Opis stanowiska
Będziesz odpowiadać za jakość, ocenę i monitorowanie systemów AI/ML w produkcie opartym na LLM i agentach, budując od podstaw ramy oceny, telemetrię oraz systemy wykrywania dryfu modeli w produkcji. Uwaga: oferta zapowiada, że rola wykracza poza tradycyjne testowanie end-to-end — spodziewaj się zadań z pogranicza inżynierii danych i MLOps, więc warto dopytać o granice odpowiedzialności. To oferta dla seniora, który łączy solidne QA z realnym doświadczeniem przy systemach AI/ML i chce pracować przy produktach o produkcyjnym znaczeniu.
🔍 Dekoder Ogłoszenia
🔴
W tej roli wykraczasz poza tradycyjne testowanie end-to-end
Może oznaczać szerszy zakres obowiązków niż standardowy QA, w tym zadania wykraczające poza typowe testowanie – warto dopytać o granice roli.
🟡
przyczynisz się do budowy systemu operacyjnego opartego na AI dla marketingu w służbie zdrowia
Brzmi ambitnie, ale może wiązać się z dużą niepewnością projektową i zmieniającymi się wymaganiami.
🟢
produktami o rzeczywistej wartości produkcyjnej
Podkreślenie realnego wpływu – pozytywny sygnał, jeśli faktycznie produkt jest wdrożony.
🟡
projektując i skalując pipeline'y oceny AI oraz systemy monitorowania dryfu ML
Bardzo specjalistyczne wymagania – może wskazywać na potrzebę szybkiego rozwoju lub brak wsparcia w zespole.