Prompt Engineer/ Tester

O projekcie: - Pracę w strategicznych inicjatywach AI/GenAI w dużej organizacji finansowej. - Realny wpływ na kształtowanie standardów AI. - Stabilne środowisko, dojrzałe procesy i współpracę z ekspertami z wielu obszarów. - Model pracy hybrydowej i elastyczne podejście do organizacji pracy. Wymagania: - Bardzo dobra znajomość LLM-ów i zasad prompt engineeringu. - Doświadczenie w testach automatycznych (unit, integration, regression). - Umiejętność pracy z Pythonem i frameworkami testowymi. - Zrozumienie metryk jakości modeli (BLEU, ROUGE, perplexity, RAG evaluation). - Umiejętność analitycznego myślenia i projektowania eksperymentów. - Mile widziane: doświadczenie z RAG, vector DB, API OpenAI/Anthropic/Azure. Codzienne zadania: - Prompt Engineering — projektowanie promptów, chain-of-thought, system prompts, testowanie wariantów. - Performance Testing — ocena szybkości, kosztów tokenów, stabilności odpowiedzi. - Automated Testing — budowanie pipeline’ów testowych dla LLM (pytest, CI/CD, API tests). - Model Evaluation — tworzenie benchmarków, scoringu i automatycznej walidacji jakości. - Data Quality — przygotowanie datasetów do testów i fine-tuningu. - Observability — monitorowanie driftu, regresji i anomalii.