12 ago
|
Amaris Consulting
|
Lima
12 ago
Amaris Consulting
Lima
Lleva tu carrera al siguiente nivel como Data Engineer en Lima, diseñando y operando pipelines de datos en producción, construyendo arquitecturas lakehouse sobre AWS y Databricks, y preparando productos de datos confiables para analítica, BI e inteligencia artificial.
Tus funciones
Diseñar pipelines de ingesta CDC log-based desde bases de datos transaccionales como Oracle, PostgreSQL y MySQL, utilizando Lakeflow Connect sobre AWS.
Implementar arquitecturas medallón con Databricks, Delta Lake, S3 y Unity Catalog, mediante pipelines declarativos y jobs.
Definir expectativas de calidad para cada pipeline y publicar sus métricas para certificar los productos de datos.
Trabajar en el modelado físico de las tablas y en el rendimiento de las consultas dentro de Databricks.
Migrar cargas y flujos analíticos legacy hacia la plataforma lakehouse, manteniendo los pipelines antiguo y reciente en paralelo hasta demostrar la paridad de resultados.
Preparar las tablas gold para BI y otros casos de consumo de datos.
Construir y operar los pipelines del modelo canónico de persona, incluyendo matching,
deduplicación y survivorship, de acuerdo con el diseño del Arquitecto de Data y las reglas de mapeo definidas por Gobierno de Datos. El trabajo comenzará con el primer dominio de negocio priorizado.
Clasificar los datos personales según su nivel de sensibilidad y aplicar las reglas de tratamiento correspondientes a cada destino.
Implementar la seudonimización de datos antes de cualquier ruta hacia soluciones de inteligencia artificial generativa, de acuerdo con la ley peruana de protección de datos personales.
Perfil requerido
Bachiller o titulado en Ingeniería de Sistemas, Ciencias de la Computación, Ingeniería Informática o carreras afines.
Especialización o diplomado en ingeniería de datos, big data o arquitecturas cloud.
Más de 5 años de experiencia en ingeniería de datos, construyendo y operando pipelines en producción.
Más de 3 años trabajando con procesamiento distribuido de da
📌 Data Engineer (Lima)
🏢 Amaris Consulting
📍 Lima