01 oct
|
Staff Boom Peru
|
Lima
01 oct
Staff Boom Peru
Lima
Buscamos un Senior Data Engineer que sea el principal responsable de ingeniería de nuestra capa de pipelines de datos: los sistemas que trasladan datos desde diversas fuentes, a través de nuestra arquitectura medallion, hasta ponerlos a disposición de los analistas y de nuestros modelos de machine learning.
El objetivo principal de este puesto es escalar y fortalecer la plataforma , incorporar nuevas fuentes de datos y elevar el estándar de ingeniería del equipo.
Se trata de un puesto sénior como contribuidor individual (individual contributor) , con responsabilidades de mentoría, incluyendo revisión de código y liderazgo técnico de la arquitectura. Reportarás al Data Architect dentro del Central Platform & Engineering Hub .
Responsabilidades principales
- Ser responsable de extremo a extremo del proyecto de orquestación: definiciones de assets, jobs, sensors, schedules, resources e IO managers.
- Diseñar e implementar nuevos pipelines de extracción y ampliar la biblioteca compartida de fuentes de datos.
- Ser responsable de las capas de transformación Bronze y Silver , y proporcionar soporte de ingeniería para los modelos fundacionales Gold que abarcan distintos dominios.
- Hacer cumplir el acuerdo de granularidad antes de construir cualquier modelo: el grain (granularidad) , las claves primarias, la frecuencia de actualización, la retención y el SLA deben estar definidos y aprobados antes de escribir cualquier SQL.
- Tratar los fallos de las pruebas de calidad de datos como alertas intencionadas : investigar los datos de origen (upstream) en lugar de ocultar los problemas mediante reintentos.
- Mantener la automatización del flujo de desarrollo que sirve como fuente única de verdad para las operaciones locales y de CI.
- Mejorar la fiabilidad, el rendimiento y la eficiencia de costes de los pipelines que se ejecutan sobre una plataforma Kubernetes compartida.
- Dar mentoría a ingenieros de datos y realizar revisiones de código centradas en la idempotencia, la corrección de procesos incrementales y la eficiencia en el uso de recursos .
- Más de 4 años de experiencia en ingeniería de datos , con responsabilidad en producción sobre pipelines y capas de transformación.
- Python avanzado (typing, dataclasses, packaging, testing).
- Dominio sólido de SQL y dbt : consultas complejas, funciones de ventana, CTEs y optimización de rendimiento en motores de consulta columnares o distribuidos.
- Experiencia en producción con un orquestador contemporáneo (Dagster, Airflow, Prefect o similar).
- Experiencia en producción con un framework de transformación SQL (dbt o equivalente), incluyendo pruebas, macros y modelos incrementales.
- Fundamentos sólidos de modelado de datos : granularidad (grain), claves, corrección de procesos incrementales, idempotencia y pruebas de calidad de datos.
- Conocimientos prácticos de flujos de trabajo basados en Git, CI/CD y contenedores .
- Familiaridad con formatos de tablas abiertos y almacenamiento columnar (Parquet, Apache Iceberg, Delta Lake o similares).
Se valorará
- Experiencia práctica con Dagster (assets, sensors, IO managers).
- Experiencia con dlt (dlthub) : fuentes, cargas incrementales y evolución de esquemas.
- Experiencia con Trino o Presto como motor de consultas.
- Experiencia en producción con Apache Iceberg y Apache Ranger .
- Experiencia con Kubernetes u OpenShift en la creación/configuración de cargas de trabajo (resource requests, pod specs, volumes).
- Experiencia con GitOps y herramientas de CI como Tekton y ArgoCD .
- Experiencia con Makefile / justfile o herramientas similares para automatizar el flujo de desarrollo.
- Experiencia como mentor de ingenieros de datos junior o de nivel intermedio.
- Orquestación y extracción: Dagster, dlt (dlthub)
- Plataforma y herramientas: OKD/OpenShift, Forgejo, Tekton, ArgoCD
#J-18808-Ljbffr
📌 Ingeniero de data Senior (Inglés intermedio - avanzado) (Lima)
🏢 Staff Boom Peru
📍 Lima