QA engineer Python
⚲ Warszawa
Do uzgodnienia
Wymagania
- Minimum 3 lata doświadczenia w QA, w tym 1+ rok w automatyzacji testów API na systemach produkcyjnych (Python, pytest, fixtures)
- Praktyczna znajomość contract testingu z Pact oraz testowania bezpieczeństwa API (authorization boundaries, token handling, malformed/hostile input)
- Doświadczenie w testowaniu rozwiązań AI/LLM: datasets, golden sets, quality metrics, prompt engineering, ocena regresji, halucynacji i prompt injection
- Doświadczenie w pracy z produktami mobilnymi Android/iOS
- Bardzo dobra znajomość języka angielskiego (min. C1)
Mile widziane
- Znajomość Langfuse, LangSmith lub Phoenix (praca z traces, dołączanie ewaluacji)
- Doświadczenie z LangGraph i testowaniem agentów jako grafów stanów
- Znajomość Pythona z Appium do automatyzacji testów mobilnych
Opis stanowiska
Connectis szuka QA Engineera do projektu amerykańskiego producenta sprzętu fitness — platformy treningowej nowej generacji integrującej AI, dane z wearable'ów i spersonalizowane plany zdrowotne. Praca skupia się na automatyzacji testów API w Pythonie (pytest, Pact), testach mobilnych E2E na iOS/Android oraz testowaniu rozwiązań AI/LLM: golden sety, metryki jakości, regresja, halucynacje, prompt injection. Uwaga: ogłoszenie mówi o 'definiowaniu kryteriów dla niedeterministycznych wyników' — to praca z systemami AI, których wyniki są nieprzewidywalne, więc trzeba liczyć się z trudno mierzalnymi celami i frustracją przy ocenie jakości. Współpraca w modelu projektowym z rozliczeniem za deliverables.
🔍 Dekoder Ogłoszenia
🔴
definiowanie kryteriów dla niedeterministycznych wyników
Praca z systemami AI/LLM, których wyniki są nieprzewidywalne — może oznaczać trudne do zmierzenia cele i frustrację.
🟢
testowania bezpieczeństwa API, w tym authorization boundaries, token handling, malformed/hostile input
Bardzo konkretny i transparentny zakres obowiązków — dobrze sprecyzowane wymagania.