14 ago
|
Amaris Consulting
|
Lima
14 ago
Amaris Consulting
Lima
Lleva tu carrera al siguiente nivel como Data Engineer en Lima, diseñando y operando pipelines de datos en producción, construyendo arquitecturas lakehouse sobre AWS y Databricks, y preparando productos de datos confiables para analítica, BI e inteligencia artificial.
Tus funciones Diseñar pipelines de ingesta CDC log-based desde bases de datos transaccionales como Oracle, PostgreSQL y MySQL, utilizando Lakeflow Connect sobre AWS.
Implementar arquitecturas medallón con Databricks, Delta Lake, S3 y Unity Catalog, mediante pipelines declarativos y jobs.
Definir expectativas de calidad para cada pipeline y publicar sus métricas para certificar los productos de datos.
Trabajar en el modelado físico de las tablas y en el rendimiento de las consultas dentro de Databricks.
Migrar cargas y flujos analíticos legacy hacia la plataforma lakehouse, manteniendo los pipelines antiguo y nuevo en paralelo hasta demostrar la paridad de resultados.
Preparar las tablas gold para BI y otros casos de consumo de datos.
Construir y operar los pipelines del modelo canónico de persona, incluyendo matching, deduplicación y survivorship, de acuerdo con el diseño del Arquitecto de Data y las reglas de mapeo definidas por Gobierno de Datos. El trabajo comenzará con el primer dominio de negocio priorizado.
Clasificar los datos personales según su nivel de sensibilidad y aplicar las reglas de tratamiento correspondientes a cada destino.
Implementar la seudonimización de datos antes de cualquier ruta hacia soluciones de inteligencia artificial generativa, de acuerdo con la ley peruana de protección de datos personales.
Perfil requerido Bachiller o titulado en Ingeniería de Sistemas, Ciencias de la Computación, Ingeniería Informática o carreras afines.
Especialización o diplomado en ingeniería de datos, big data o arquitecturas cloud.
Más de 5 años de experiencia en ingeniería de datos, construyendo y operando pipelines en producción.
Más de 3 años trabajando con procesamiento distribuido de datos, cargas batch y streaming, y SQL avanzado.
Más de 2 años de experiencia con arquitecturas lakehouse o medallón y formatos como Delta Lake, Apache Iceberg o Apache Hudi.
Experiencia con replicación CDC log-based desde Oracle, PostgreSQL o MySQL.
Experiencia en migraciones de cargas ETL legacy o warehouses analíticos hacia plataformas lakehouse.
Experiencia con Git, CI/CD, pruebas automatizadas, revisión por pares y despliegue de código de datos.
Conocimiento de Databricks, Unity Catalog, pipelines declarativos, jobs, orquestación, calidad de datos y tuning de consultas para BI.
Experiencia trabajando con datos personales en entornos regulados, incluyendo clasificación, gobierno, linaje y seudonimización. Se valoran conocimientos de Oracle, PL/SQL y normativa peruana de protección de datos personales. Lo que ofrecemos Posición basada en Lima, Perú.
Comunidad internacional con más de 110 nacionalidades.
Plan de formación y desarrollo con nuestra Academia interna.
Entorno colaborativo, con eventos internos y cultura de mejora continua.
Robusto compromiso con la Responsabilidad Social Empresarial a través de WeCare Together.
Amaris Consulting se compromete a promover la diversidad dentro de su equipo y a crear un entorno de trabajo inclusivo. Se consideran todas las candidaturas de personas calificadas, independientemente de su género, orientación sexual, raza, etnia, creencias, edad, estado civil, discapacidad u otras características.
📌 Data Engineer (Lima)
🏢 Amaris Consulting
📍 Lima