Por encargo de nuestro cliente líder del sector financiero, nos encontramos de la búsqueda de un AI Quality Engineer, quien se encargará de asegurar la calidad de nuestras soluciones de IA (GenAI/LLM, RAG, agentes) antes de que lleguen a producción.

Misión:

Asegurar la calidad integral (funcional, técnica, de seguridad y de comportamiento) de las soluciones de IA (GenAI/LLM, RAG, agentes y componentes ML) construidas por el Squad de IA, habilitando despliegues a producción con métricas de calidad medibles, riesgos controlados y trazabilidad suficiente para auditoría; reduciendo defectos post-producción y acelerando el time-to-production mediante prácticas de Shift-Left y automatización.

Funciones:

- Definir estrategia de QA - IA, criterios de salida (DoD), thresholds por criticidad (Tier) y suites mínimas; mantener baseline por solución
- Participar desde discovery/diseño; revisar historias y criterios de aceptación; diseñar test plans (happy path, borde y fallbacks) antes de construir.
- Construir “golden sets”; ejecutar pruebas de grounding/consistencia/alucinaciones; validar retrieval y evidencias
- Ejecutar prompt injection/jailbreak, data leakage y misuse de herramientas; validar guardrails y permisos definidos con Arquitectura y Riesgos.
- Mantener automatización de APIs, E2E y regresión de prompts/RAG; integrar en CI/CD y versionado.
- Registrar/priorizar defectos; análisis causa raíz con el squad; proponer mejoras a prompts/KB/retrieval/flujos.
- Definir métricas (éxito, fallback, escalamiento, latencia); revisar logs/telemetría; alertar degradaciones y activar fixes.
- Documentar planes/resultados/evidencias/versiones (prompts/datasets/config); repositorio de artefactos y sign-offs.
- Utilizar herramientas de IA generativa para asistir en la creación de test plans, generación de casos de prueba,



análisis de resultados y revisión de código.
- Validar pipelines RAG verificando calidad de retrieval, relevancia de documentos y trazabilidad de evidencias utilizadas por el modelo.

Requisitos:

- Competente universitario de las carreras de Ing. de Sistemas, Computación, Informática o afines
- Deseable contar con formación o certificación en QA (ISTQB Foundation o equivalente) y cursos aplicados a Testing de IA/GenAI (evaluación de LLMs, RAG o agentes).
- Deseable contar con los fundamentos de ML/GenAI (métricas de evaluación, embeddings/retrieval) y nociones de seguridad y privacidad en entornos regulados (DLP, clasificación de datos).

Experiencia:

- Experiencia mínima de 4 años como QA (funcional y automatizado) en productos digitales; idóneo corporativo/regulado.
- Experiencia mínima de 2/3 años automatizando APIs y/o E2E; integración en CI/CD.
- Deseable: experiencia validando chatbots/agentes/IA (RAG/LLM/ML) o squads de datos/IA.

Idiomas:

- Manejo de Inglés intermedio (lectura/escritura técnica)

Software:

- Experiencia con Git (GitHub/GitLab)
- Experiencia con CI/CD: GitHub Actions, Jenkins o equivalente
- Experiencia con Testing: API (Postman/Karate u otros), UI (Playwright/Selenium u otros), gestión de pruebas (Jira/Xray u otro)
- Experiencia con SQL; observabilidad (Grafana/Kibana o similar)
- Deseable experiencia con Python

Otros conocimientos y habilidades:

- GenAI/LLMs: prompting, guardrails, limitaciones, riesgos (prompt injection, leakage)
- RAG: embeddings, retrieval, grounding/evidencia, control de accesos a fuentes
- Seguridad app: OWASP Top 10 + nociones de threat modeling (coordinado con Arq Seguridad)
- Evidencia y trazabilidad para auditoría/regulación
- Evaluación de modelos LLM
- Arquitecturas RAG
- Riesgos de IA (prompt injection, data leakage, hallucinations)

Este anuncio se encuentra abierto para personas con discapacidad.

📌 AI Quality Engineer (Lima)
🏢 Multiplica
📍 Lima