14 ago
|
Amaris Consulting
|
Lima
14 ago
Amaris Consulting
Lima
Lleva tu carrera al siguiente nivel como Data Engineer en Lima, diseñando y operando pipelines de datos en producción, construyendo arquitecturas lakehouse sobre AWS y Databricks, y preparando productos de datos confiables para analítica, BI e inteligencia artificial.
Tus funciones
- Diseñar pipelines de ingesta CDC log-based desde bases de datos transaccionales como Oracle, PostgreSQL y MySQL, utilizando Lakeflow Connect sobre AWS.
- Implementar arquitecturas medallón con Databricks, Delta Lake, S3 y Unity Catalog, mediante pipelines declarativos y jobs.
- Definir expectativas de calidad para cada pipeline y publicar sus métricas para certificar los productos de datos.
- Trabajar en el modelado físico de las tablas y en el rendimiento de las consultas dentro de Databricks.
- Migrar cargas y flujos analíticos legacy hacia la plataforma lakehouse, manteniendo los pipelines antiguo y nuevo en paralelo hasta demostrar la paridad de resultados.
- Preparar las tablas gold para BI y otros casos de consumo de datos.
- Construir y operar los pipelines del modelo canónico de persona, incluyendo matching, deduplicación y survivorship, de acuerdo con el diseño del Arquitecto de Data y las reglas de mapeo definidas por Gobierno de Datos. El trabajo comenzará con el primer dominio de negocio priorizado.
- Clasificar los datos personales según su nivel de sensibilidad y aplicar las reglas de tratamiento correspondientes a cada destino.
- Implementar la seudonimización de datos antes de cualquier ruta hacia soluciones de inteligencia artificial generativa, de acuerdo con la ley peruana de protección de datos personales.
Perfil requerido
- Bachiller o titulado en Ingeniería de Sistemas, Ciencias de la Computación, Ingeniería Informática o carreras afines.
- Especialización o diplomado en ingeniería de datos, big data o arquitecturas cloud.
- Más de 5 años de experiencia en ingeniería de datos, construyendo y operando pipelines en producción.
- Más de 3 años trabajando con procesamiento distribuido de datos, cargas batch y streaming, y SQL avanzado.
- Más de 2 años de experiencia con arquitecturas lakehouse o medallón y formatos como Delta Lake, Apache Iceberg o Apache Hudi.
- Experiencia con replicación CDC log-based desde Oracle, PostgreSQL o MySQL.
- Experiencia en migraciones de cargas ETL legacy o warehouses analíticos hacia plataformas lakehouse.
- Experiencia con Git, CI/CD, pruebas automatizadas, revisión por pares y despliegue de código de datos.
- Conocimiento de Databricks, Unity Catalog, pipelines declarativos, jobs, orquestación, calidad de datos y tuning de consultas para BI.
- Experiencia trabajando con datos personales en entornos regulados, incluyendo clasificación, gobierno, linaje y seudonimización. Se valoran conocimientos de Oracle, PL/SQL y normativa peruana de protección de datos personales.
Lo que ofrecemos
- Posición basada en Lima, Perú.
- Comunidad internacional con más de 110 nacionalidades.
- Plan de formación y desarrollo con nuestra Academia interna.
- Entorno colaborativo, con eventos internos y cultura de mejora continua.
- Robusto compromiso con la Responsabilidad Social Empresarial a través de WeCare Together.
Amaris Consulting se compromete a promover la diversidad dentro de su equipo y a crear un entorno de trabajo inclusivo. Se consideran todas las candidaturas de personas calificadas, independientemente de su género, orientación sexual, raza, etnia, creencias, edad, estado civil, discapacidad u otras características.
📌 Data Engineer (Lima)
🏢 Amaris Consulting
📍 Lima