AI Engineer (K/M)

Projekt realizowany w sektorze bankowym, obejmujący budowę i rozwój agentowych rozwiązań opartych o LLM, działających w środowisku enterprise Azure OpenAI. Zespół rozwija wieloetapowe systemy AI wykorzystujące RAG, tool use oraz architektury multi-agentowe, z naciskiem na bezpieczeństwo, jakość i standaryzację rozwiązań AI w środowisku regulowanym. Twój zakres obowiązków • Projektowanie modularnych promptów dla systemów agentowych • Projektowanie system promptów oraz opisów narzędzi dla agentów AI • Projektowanie rozwiązań odpornych na halucynacje i prompt injection • Tworzenie outputów zgodnych z wymaganiami systemów downstream • Projektowanie przepływów agentowych i architektur multi-agentowych • Projektowanie promptów dla scenariuszy RAG i grounding • Budowa golden datasets oraz zestawów ewaluacyjnych • Definiowanie i analiza metryk jakości rozwiązań AI • Przeprowadzanie regression testing dla promptów i modeli • Analiza trace’ów agentów oraz diagnozowanie failure modes • Budowa i utrzymanie standardów „prompt as code” • Dokumentowanie promptów oraz architektur agentowych • Współpraca z biznesem, zespołami AI, IT, compliance i security Nasze wymagania • Doświadczenie w projektowaniu rozwiązań opartych o LLM i agentic AI • Znajomość architektur agentowych oraz tool use/function calling • Doświadczenie z RAG oraz groundingiem na danych źródłowych • Znajomość zagadnień prompt engineering i prompt as code • Doświadczenie w pracy z Git oraz CI/CD • Umiejętność projektowania struktur JSON i output schema • Znajomość zagadnień bezpieczeństwa LLM, prompt injection i data leakage • Umiejętność analizy jakości modeli i ewaluacji rozwiązań AI • Doświadczenie we współpracy z biznesem i zespołami technicznymi • Znajomość środowisk regulowanych oraz aspektów compliance/security • Bardzo dobre umiejętności analityczne i komunikacyjne Mile widziane • Znajomość modeli reasoning takich jak Claude extended thinking • Doświadczenie z narzędziami LangSmith, Langfuse, Promptfoo lub Braintrust • Doświadczenie w projektach AI/ML w sektorze finansowym • Znajomość architektur multi-agentowych • Doświadczenie w model risk management oraz UAT dla rozwiązań AI