Credicorp Capital te invita a Convertir Desafíos en Ocasiones y ser nuestro/a próximo/a AI Quality Engineer para el equipo de GEN AI & Innovación, en Lima, Perú.

Misión:
Asegurar la calidad integral (funcional, técnica, de seguridad y de comportamiento) de las soluciones de IA (GenAI/LLM, RAG, agentes y componentes ML) construidas por el Squad de IA, habilitando despliegues a producción con métricas de calidad medibles, riesgos controlados y trazabilidad suficiente para auditoría; reduciendo defectos post-producción y acelerando el time-to-production mediante prácticas de Shift-Left y automatización.

Funciones:
Definir estrategia de QA - IA, criterios de salida (DoD), thresholds por criticidad (Tier) y suites mínimas; mantener baseline por solución
Participar desde discovery/diseño; revisar historias y criterios de aceptación; diseñar test plans (happy path, borde y fallbacks) antes de construir.
Construir “golden sets”; ejecutar pruebas de grounding/consistencia/alucinaciones; validar retrieval y evidencias
Ejecutar prompt injection/jailbreak,



data leakage y misuse de herramientas; validar guardrails y permisos definidos con Arquitectura y Riesgos.
Mantener automatización de APIs, E2E y regresión de prompts/RAG; integrar en CI/CD y versionado.
Registrar/priorizar defectos; análisis causa raíz con el squad; proponer mejoras a prompts/KB/retrieval/flujos.
Definir métricas (éxito, fallback, escalamiento, latencia); revisar logs/telemetría; alertar degradaciones y activar fixes.
Documentar planes/resultados/evidencias/versiones (prompts/datasets/config); repositorio de artefactos y sign-offs.
Utilizar herramientas de IA generativa para asistir en la creación de test plans, generación de casos de prueba, análisis de resultados y revisión de código.
Validar pipelines RAG verificando calidad de retrieval, relevancia de documentos y trazabilidad de evidencias utilizadas por el modelo.

Requisitos:
Cualificado universitario de las carreras de Ing. de Sistemas, Computa

📌 Ai Quality Engineer Lima
🏢 Credicorp Capital
📍 Lima