Descripción

• Diseñar, desarrollar y mantener plataformas de big data, soportando la ingesta, almacenamiento, procesamiento y análisis de grandes volúmenes de datos;
• De acuerdo con las necesidades del negocio, seleccionar el stack tecnológico de big data adecuado, como Hadoop, Spark, Flink, Kafka, etc.;
• Desarrollar herramientas y procesos ETL, soportando la extracción, transformación y carga de datos;
• Responsable del diseño e implementación de la arquitectura de un data warehouse a nivel empresarial, construyendo modelos en capas ODS, DWD, DWS y ADS que se alineen con las características del negocio;
• Desarrollar procesos ETL eficientes y estables sobre frameworks como Hive, Spark y Flink para soportar necesidades tanto offline como en tiempo real;
• Establecer un sistema completo de linaje de datos y gestión de metadatos;
• Encargarse del desarrollo de un sistema de monitoreo de calidad de datos;
• Optimizar la arquitectura de data warehouse existente para mejorar la eficiencia del procesamiento de datos y la utilización de recursos.

Requisitos

• Título universitario en Ciencias de la Computación, Ingeniería de Software o campos relacionados;
• Más de 5 años de experiencia en desarrollo de big data y más de 3 años en construcción de data warehouse;
• Dominio de tecnologías de big data como Hadoop, Spark, Flink y Kafka;
• Dominio de Java; uso avanzado de Python y scripts Shell;
• Dominio de optimización de SQL y manejo experto de HiveQL y FlinkSQL;
• Experiencia en desarrollo de tareas de cálculo en tiempo real usando Flink SQL o DataStream API;
• Experiencia con herramientas de orquestación de código abierto como DolphinScheduler;
• Experiencia con Doris o Clickhouse y capacidad para optimizarlos;
• Haber liderado proyectos completos de data warehouse a nivel empresarial (preferible);
• Fuerte sentido de responsabilidad y capacidad para resolver problemas técnicos complejos de manera independiente;
• Buenas habilidades de comunicación y espíritu de trabajo en equipo;
• Gran interés y espíritu exploratorio en nuevas tecnologías.

Aspectos valorables

• Experiencia en desarrollo de data lakes, como Iceberg o Paimon;
• Familiaridad con plataformas de machine learning o tecnologías relacionadas con IA;
• Experiencia contribuyendo a proyectos de código abierto.