Por encargo de nuestro cliente líder del sector financiero, nos encontramos de la búsqueda de un AI Quality Engineer, quien se encargará de asegurar la calidad de nuestras soluciones de IA (GenAI/LLM, RAG, agentes) antes de que lleguen a producción.

Misión:
Asegurar la calidad integral (funcional, técnica, de seguridad y de comportamiento) de las soluciones de IA (GenAI/LLM, RAG, agentes y componentes ML) construidas por el Squad de IA, habilitando despliegues a producción con métricas de calidad medibles, riesgos controlados y trazabilidad suficiente para auditoría; reduciendo defectos post-producción y acelerando el time-to-production mediante prácticas de Shift-Left y automatización.

Funciones:
Definir estrategia de QA - IA, criterios de salida (DoD), thresholds por criticidad (Tier) y suites mínimas; mantener baseline por solución
Participar desde discovery/diseño; revisar historias y criterios de aceptación; diseñar test plans (happy path, borde y fallbacks) antes de construir.




Construir “golden sets”; ejecutar pruebas de grounding/consistencia/alucinaciones; validar retrieval y evidencias
Ejecutar prompt injection/jailbreak, data leakage y misuse de herramientas; validar guardrails y permisos definidos con Arquitectura y Riesgos.
Mantener automatización de APIs, E2E y regresión de prompts/RAG; integrar en CI/CD y versionado.
Registrar/priorizar defectos; análisis causa raíz con el squad; proponer mejoras a prompts/KB/retrieval/flujos.
Definir métricas (éxito, fallback, escalamiento, latencia); revisar logs/telemetría; alertar degradaciones y activar fixes.
Documentar planes/resultados/evidencias/versiones (prompts/datasets/config); repositorio de artefactos y sign-offs.
Utilizar herramientas de IA generativa para asistir en la creación de test plans, generación de casos de prueba, análisis de resultados y revisión de código.
Validar pipelines RAG verificando calidad de retrieval, relevancia de documentos y trazabilidad de evidencias utilizadas por el modelo.

📌 AI Quality Engineer (Lima)
🏢 Multiplica
📍 Lima