職位描述

• 設計、開發和維護大數據平台，支援海量資料的採集、儲存、處理和分析；
• 根據業務需求，選擇合適的大數據技術棧，如 Hadoop、Spark、Flink、Kafka 等；
• 開發 ETL 工具及流程，支援資料的抽取、轉換與載入；
• 負責企業級資料倉庫的架構設計與實施，建構符合業務特性的 ODS、DWD、DWS、ADS 分層模型；
• 基於 Hive、Spark、Flink 等框架開發高效穩定的 ETL 流程，以支援離線與即時需求；
• 建立完善的資料血緣與元資料管理體系；
• 負責資料品質監控體系的建置；
• 優化現有數倉架構，提升資料處理效率與資源使用率。

任職要求

• 計算機科學、軟體工程或相關專業本科及以上學歷；
• 5 年以上大數據開發經驗，3 年以上數倉建設經驗；
• 精通 Hadoop、Spark、Flink、Kafka 等大數據技術；
• 精通 Java，熟練使用 Python、Shell 腳本；
• 精通 SQL 優化，熟練掌握 HiveQL、FlinkSQL；
• 熟練使用 Flink SQL 或 DataStream API 開發即時運算任務；
• 熟練使用 DolphinScheduler 等開源排程工具；
• 熟練使用 Doris 或 ClickHouse，並能進行優化；
• 主導過完整的企業級資料倉庫專案者優先；
• 具強烈責任感，能獨立解決複雜技術問題；
• 良好溝通能力及團隊協作精神；
• 對新技術具強烈學習與探索熱忱。

加分項目

• 具備數據湖開發經驗，如 Iceberg、Paimon；
• 熟悉機器學習平台或 AI 相關技術；
• 具備開源專案貢獻經驗。