DESCRIPCIóN

Relevante empresa del sector financiero se encuentra en búsqueda de un AI QA Lead para ser el referente técnico de calidad de IA de la organización. Esta persona será owner del marco de evaluación de agentes de IA y se asegurará de que ninguna solución pase a producción sin haber sido evaluada, estresada y validada en calidad, seguridad y desempeño.

Funciones:
Definir y liderar los lineamientos de evaluación de agentes de IA con base en buenas prácticas de la industria. Esto incluye categorizar los agentes por criticidad, establecer las pruebas requeridas para cada categoría y fijar los criterios de aprobación para el pase a producción.
Evaluar los agentes de punta a punta y por componente (orquestación, herramientas, memoria, RAG), midiendo la calidad de respuesta, los tiempos y la precisión, e identificando sus puntos más vulnerables.
Diseñar y coordinar las pruebas de red team (prompt injection, jailbreaking, fuga de información) y validar guardrails en conjunto con el equipo de Ciberseguridad.
Implementar la observabilidad de los agentes bajo OpenTelemetry y automatizar las evals y pruebas de no-regresión dentro de los pipelines de CI/CD.




Proponer de forma proactiva nuevas métricas, prácticas y herramientas de evaluación, y difundir los estándares de calidad a los equipos de la organización.

REQUISITOS

Requisitos:
Bachiller o titulado en Ingeniería de Software, Sistemas, Ciencias de la Computación o afines.
5 años o más de experiencia en QA, ingeniería de calidad o SDET, incluyendo pruebas de aplicaciones tradicionales y automatización con scripts.
2 años o más en calidad de sistemas de IA/LLMs, con experiencia comprobable evaluando agentes de IA.
Conocimiento de la composición y funcionamiento de agentes de IA y de sus métricas de evaluación.
Experiencia en red teaming de IA con frameworks open source o privados (PyRIT, Garak, Promptfoo u otros).
Manejo de Python para automatización de pruebas y evals.
Experiencia en Azure; se valorará exposición a otras nubes (AWS, GCP).
Conocimiento de OpenTelemetry y herramientas de observabilidad (Langfuse, Arize Phoenix, LangSmith o similares).
Inglés intermedio para lectura técnica.

📌 Ai Qa Lead Lima (Perú)
🏢 KSR-Global
📍 Perú