Postúlate en Kit Empleo: kitempleo.pe/empleo/wkuw7

Credicorp Capital te invita a Convertir Desafíos en Oportunidades y ser nuestro/a próximo/a AI Quality Engineer para el equipo de GEN AI Innovación, en Lima, Perú.

n

Misión:

nAsegurar la calidad integral (funcional, técnica, de seguridad y de comportamiento) de las soluciones de IA (GenAI/LLM, RAG, agentes y componentes ML) construidas por el Squad de IA, habilitando despliegues a producción con métricas de calidad medibles, riesgos controlados y trazabilidad suficiente para auditoría; reduciendo defectos post-producción y acelerando el time-to-production mediante prácticas de Shift-Left y automatización.n

Funciones:

n

n
- Definir estrategia de QA - IA, criterios de salida (DoD), thresholds por criticidad (Tier) y suites mínimas; mantener baseline por solución
n
- Participar desde discovery/diseño; revisar historias y criterios de aceptación; diseñar test plans (happy path, borde y fallbacks) antes de construir.
n
- Construir “golden sets”; ejecutar pruebas de grounding/consistencia/alucinaciones; validar retrieval y evidencias
n
- Ejecutar prompt injection/jailbreak, data leakage y misuse de herramientas; validar guardrails y permisos definidos con Arquitectura y Riesgos.
n
- Mantener automatización de APIs, E2E y regresión de prompts/RAG; integrar en CI/CD y versionado.
n
- Registrar/priorizar defectos; análisis causa raíz con el squad; proponer mejoras a prompts/KB/retrieval/flujos.
n
- Definir métricas (éxito, fallback, escalamiento, latencia); revisar logs/telemetría; alertar degradaciones y activar fixes.
n
- Documentar planes/resultados/evidencias/versiones (prompts/datasets/config); repositorio de artefactos y sign-offs.
n
- Utilizar herramientas de IA generativa para asistir en la creación de test plans, generación de casos de prueba, análisis de resultados y revisión de código.
n




- Validar pipelines RAG verificando calidad de retrieval, relevancia de documentos y trazabilidad de evidencias utilizadas por el modelo.
n

nRequisitos:n

n
- Competente universitario de las carreras de Ing. de Sistemas, Computación, Informática o afinesn
n
- Deseable contar con formación o certificación en QA (ISTQB Foundation o equivalente) y cursos aplicados a Testing denIA/GenAI (evaluación de LLMs, RAG o agentes).n

- Deseable contar con los fundamentos de ML/GenAI (métricas de evaluación, embeddings/retrieval) y nociones de seguridad y privacidad en entornos regulados (DLP, clasificación de datos).

n

Experiencia
- Experiencia mínima de 4 años como QA (funcional y automatizado) en productos digitales; ideal corporativo/regulado.
- Experiencia mínima de 2/3 años automatizando APIs y/o E2E; integración en CI/CD.

n

- Deseable: experiencia validando chatbots/agentes/IA (RAG/LLM/ML) o squads de datos/IA.

Idiomas:
- Manejo de Inglés intermedio (lectura/escritura técnica)
- Manejo deseable de ingles intermedio-avanzado.

n

Software:
- Experiencia con Git (GitHub/GitLab)
- Experiencia con CI/CD: GitHub Actions, Jenkins o equivalente
- Experiencia con Testing: API (Postman/Karate u otros), UI (Playwright/Selenium u otros), gestión de pruebas (Jira/Xray u otro)

n

- Experiencia con SQL; observabilidad (Grafana/Kibana o similar)
- Deseable experiencia con Python

Otros conocimientos y habilidades:

- GenAI/LLMs: prompting, guardrails, limitaciones, riesgos (prompt injection, leakage)

n

- RAG: embeddings, retrieval, grounding/evidencia, control de accesos a fuentes
- Seguridad app: OWASP Top 10 + nociones de threat modeling (coordinado con Arq Seguridad)
- Evidencia y trazabilidad para auditoría/regulación

n

- Evaluación de modelos LLM
- Arquitecturas RAG
- Riesgos de IA (prompt injection, data leakage, hallucinations)

Este anuncio se encuentra abierto para personas con discapacidad.

Postúlate en Kit Empleo: kitempleo.pe/empleo/wkuw7

📌 AI Quality Engineer (Lima)
🏢 Credicorp Capital
📍 Lima