Significativo empresa del sector financiero se encuentra en búsqueda de un AI QA Lead para ser el referente técnico de calidad de IA de la organización. Esta persona será owner del marco de evaluación de agentes de IA y se asegurará de que ninguna solución pase a producción sin haber sido evaluada, estresada y validada en calidad, seguridad y desempeño.

Funciones:

- Definir y liderar los lineamientos de evaluación de agentes de IA con base en buenas prácticas de la industria. Esto incluye categorizar los agentes por criticidad, establecer las pruebas requeridas para cada categoría y fijar los criterios de aprobación para el pase a producción.
- Evaluar los agentes de punta a punta y por componente (orquestación, herramientas, memoria, RAG), midiendo la calidad de respuesta, los tiempos y la precisión, e identificando sus puntos más vulnerables.
- Diseñar y coordinar las pruebas de red team (prompt injection, jailbreaking, fuga de información) y validar guardrails en conjunto con el equipo de Ciberseguridad.




- Implementar la observabilidad de los agentes bajo OpenTelemetry y automatizar las evals y pruebas de no-regresión dentro de los pipelines de CI/CD.
- Proponer de forma proactiva nuevas métricas, prácticas y herramientas de evaluación, y difundir los estándares de calidad a los equipos de la organización.

#J-18808-Ljbffr
Experiencia en QA de IA
Liderazgo técnico, Evaluación de IA, Pruebas de seguridad IA, OpenTelemetry, CI/CD, Análisis de métricas
Definir y liderar lineamientos de evaluación de IA y criterios de aprobación para producción., Evaluar agentes de IA end-to-end, medir calidad, tiempos y precisión., Diseñar y coordinar pruebas de red team (prompt injection, jailbreaking, fuga de información) y validar guardrails con Ciberseguridad., Implementar observabilidad con OpenTelemetry y automatizar evaluaciones en pipelines CI/CD., Proponer métricas, herramientas y estándares de calidad para la organización.

📌 AI QA Lead (Lima)
🏢 KSR-Global
📍 Lima