AI QA Engineer

Opis projektu Nasz Klient to państwowa jednostka o znaczeniu strategicznym, odpowiedzialna za utrzymanie i rozwój kluczowej infrastruktury w sektorze lotnictwa cywilnego. Instytucja ta pełni nadrzędną rolę w zapewnianiu ciągłości i bezpieczeństwa operacji transportowych na skalę krajową, działając w oparciu o rygorystyczne normy publiczne oraz międzynarodowe standardy regulacyjne. Zadania: • Opracowanie strategii testów dla systemów z komponentami AI/ML (funkcjonalne, integracyjne, niefunkcjonalne, bezpieczeństwo). • Definiowanie przypadków testowych dla funkcji opartych o ML, w tym zestawów danych testowych i „golden datasets”. • Testy danych i potoków: walidacje jakości danych, spójność, kompletność, schematy, reguły biznesowe. • Automatyzacja testów (API/UI/integrowane) i włączanie ich do CI/CD; utrzymanie frameworków testowych. • Testy modeli: porównania metryk, regresje jakości, testy stabilności i odporności na skrajne/nieoczekiwane dane. • Testy wydajności inferencji: opóźnienie, przepustowość, wykorzystanie zasobów, stabilność pod obciążeniem. • Współpraca z Product Ownerem i zespołami przy definiowaniu kryteriów akceptacji, scenariuszy SAT/UAT • Planowanie pracy w Scrum, prowadzenie lub udział w przeglądach defektów i triage. • Weryfikacja postępów: raporty pokrycia, trendy defektów, status automatyzacji, wskaźniki jakości releasu. • Testy odporności i jakości danych treningowych oraz mechanizmów retraningu. • Walidacja mechanizmów monitoringu modeli (alerty, progi, drift), scenariusze awaryjne i rollback. • Testy integracji MLOps: rejestr modeli, polityki wersjonowania, zgodność pipeline’ów z wymaganiami. • Utrzymanie dokumentacji QA: strategie, plany testów, raporty wykonania, ewidencje. • Koordynacja z zespołami Dev/DE/ML w celu szybkiej replikacji błędów i wprowadzenia poprawek. • Optymalizacja pracy zespołu QA i skracanie cykli regresji poprzez usprawnienia narzędziowe i procesowe. Wymagania: • Wykształcenie wyższe: informatyka, inżynieria oprogramowania, automatyka, matematyka lub pokrewne. • Doświadczenie w QA systemów IT, w tym w automatyzacji testów oraz testach integracyjnych i systemowych. • Praktyka w testowaniu komponentów ML: przygotowanie danych testowych, walidacja metryk, regresje jakości modeli. • Umiejętność budowy i utrzymania frameworków automatyzacji (np. testy API/UI), integracja z CI/CD. • Doświadczenie w raportowaniu i śledzeniu defektów, metrykach jakości i pracy z dashboardami QA. • Znajomość testów wydajnościowych i narzędzi do obciążeniowych testów inferencji. • Umiejętność dokumentowania strategii i planów testów, pracy w zespołach wielofunkcyjnych. • Biegłe posługiwanie się językiem polskim. Co oferujemy? • Pracę zdalną z możliwością przyjazdów co jakiś czas do biura w Warszawie. • Pracę na naszym sprzęcie. • Płaską strukturę zarządzania. • Samoorganizujące się zespoły. • Dużo przestrzeni na własną inicjatywę. • Możliwość delegacji na terenie Unii Europejskiej lub Wielkiej Brytanii.