職務内容

• 大規模データプラットフォームの設計、開発および保守を行い、膨大なデータの収集、保存、処理、分析をサポートします。
• 業務要件に基づき、Hadoop、Spark、Flink、Kafkaなどの適切なビッグデータ技術スタックを選定します。
• データの抽出、変換、ロードをサポートするETLツールおよびプロセスを開発します。
• 企業向けデータウェアハウスのアーキテクチャ設計および実装を担当し、業務特性に応じたODS、DWD、DWS、ADSの層別モデルを構築します。
• Hive、Spark、Flinkなどのフレームワークを用いて、高効率かつ安定したETLプロセスを開発し、オフラインおよびリアルタイムの要件を支援します。
• データの系統管理（データリネージ）およびメタデータ管理体系を確立します。
• データ品質監視システムの構築を担当します。
• 既存のデータウェアハウスアーキテクチャを最適化し、データ処理効率およびリソース利用率を向上させます。

応募要件

• コンピュータサイエンス、ソフトウェア工学または関連分野の学士以上の学位を有する方
• ビッグデータ開発経験5年以上、データウェアハウス構築経験3年以上
• Hadoop、Spark、Flink、Kafkaなどビッグデータ技術に精通している方
• Javaに精通し、PythonおよびShellスクリプトを自在に使用できる方
• SQLの最適化に精通し、HiveQL、FlinkSQLを習熟している方
• Flink SQLまたはDataStream APIを用いたリアルタイム計算タスクの開発に習熟している方
• DolphinSchedulerなどのオープンソーススケジューリングツールを自在に使用できる方
• DorisまたはClickHouseを習熟し、チューニングが可能な方
• エンタープライズレベルのデータウェアハウスプロジェクトを主導した経験がある方を優遇
• 強い責任感を持ち、複雑な技術的課題を独力で解決できる方
• 優れたコミュニケーション能力およびチームワーク精神を有する方
• 新技術に強い学習意欲および探究心を持つ方

歓迎スキル

• Iceberg、Paimonなどを用いたデータレイク開発経験
• 機械学習プラットフォームまたはAI関連技術に精通している方
• オープンソースプロジェクトへの貢献経験