En INDRA, estamos en búsqueda de un/a AI Engineer para integrarse a un relevante proyecto del sector bancario y contribuir en la construcción de una plataforma que valida y evalúa los agentes de IA del banco, asegurando su calidad, seguridad y confiabilidad.
Principales funciones:
- Construir herramientas de validación que corren en sombra junto a los agentes de IA del banco y registran entradas, respuestas, trazas y llamadas a herramientas, con MLflow Tracing en Databricks y Application Insights.
- Diseñar y automatizar baterías de evaluación para agentes y casos de IA generativa: alucinación, fidelidad a las fuentes en RAG, toxicidad, fuga de datos sensibles y cumplimiento de instrucciones, con LLM como juez sobre Azure OpenAI y Azure AI Content Safety.
- Revisar por dentro la arquitectura de los agentes que construyen otros equipos (orquestación, prompts, RAG con Azure AI Search, herramientas y memoria) e identificar puntos de falla y riesgos de modelo.
- Desarrollar los servicios backend y las APIs de la plataforma de validación en Python (FastAPI sobre Azure Functions, Web App o AKS, expuestos por APIM y con secretos en Key Vault)
y los tableros de monitoreo del equipo.
- Entregar el código bajo los lineamientos DevSecOps del banco (GitHub Enterprise o Bitbucket, Jenkins, SonarQube con 70% de cobertura de pruebas y Fortify) y documentar los hallazgos y evidencias de cada validación.
Requisitos:
- Experiencia comprobada (2 a 3+ años) desarrollando software backend o full stack en Python, con al menos 1 año construyendo aplicaciones con LLM en producción.
- Experiencia construyendo agentes o sistemas RAG: orquestación (LangGraph, Semantic Kernel o similares), llamadas a herramientas, embeddings y búsqueda vectorial.
- Experiencia con Azure AI Search.
- Experiencia en evaluación y observabilidad de LLM: trazas, métricas de calidad, datasets de prueba y LLM como juez (MLflow, Ragas, DeepEval o similares).
- Experiencia con APIs REST, Git, pruebas automatizadas y pipelines CI/CD.
Modalidad: Híbrida
? Si ya no puedes postular, envíame tu CV a:
[email protected]
¡Postula y sé parte de INDRA!
📌 IA Engineer (San Isidro)
🏢 Indra Group
📍 San Isidro