Deskripsi

• Mendesain, mengembangkan, dan memelihara platform big data, mendukung pengumpulan, penyimpanan, pemrosesan, dan analisis data berskala besar;
• Berdasarkan kebutuhan bisnis, memilih tumpukan teknologi big data yang sesuai, seperti Hadoop, Spark, Flink, Kafka, dan lain-lain;
• Mengembangkan alat dan proses ETL untuk mendukung ekstraksi, transformasi, dan pemuatan data;
• Memimpin desain arsitektur dan implementasi data warehouse tingkat perusahaan, membangun model berlapis ODS, DWD, DWS, ADS sesuai karakteristik bisnis;
• Berdasarkan kerangka kerja seperti Hive, Spark, Flink, mengembangkan alur ETL yang efisien dan stabil untuk mendukung kebutuhan offline dan real-time;
• Membangun sistem lineage data dan manajemen metadata yang komprehensif;
• Bertanggung jawab atas pembangunan sistem pemantauan kualitas data;
• Mengoptimalkan arsitektur data warehouse yang ada untuk meningkatkan efisiensi pemrosesan data dan pemanfaatan sumber daya.

Persyaratan

• Gelar Sarjana atau lebih tinggi di bidang Ilmu Komputer, Teknik Perangkat Lunak, atau bidang terkait;
• Pengalaman lebih dari 5 tahun dalam pengembangan big data dan lebih dari 3 tahun dalam pembangunan data warehouse;
• Menguasai teknologi big data seperti Hadoop, Spark, Flink, Kafka;
• Menguasai Java; terampil menggunakan Python dan skrip Shell;
• Mahir dalam optimasi SQL; terbiasa dengan HiveQL dan FlinkSQL;
• Terampil menggunakan Flink SQL atau DataStream API untuk mengembangkan tugas komputasi real-time;
• Terbiasa menggunakan alat penjadwalan open source seperti DolphinScheduler;
• Terbiasa menggunakan Doris atau ClickHouse, serta mampu melakukan tuning;
• Pengalaman memimpin proyek data warehouse skala perusahaan secara menyeluruh menjadi nilai tambah;
• Memiliki tanggung jawab tinggi dan mampu menyelesaikan masalah teknis kompleks secara mandiri;
• Kemampuan komunikasi yang baik dan semangat kerja tim;
• Memiliki minat belajar dan semangat eksplorasi terhadap teknologi baru.

Nilai Tambahan

• Pengalaman pengembangan data lake seperti Iceberg atau Paimon;
• Mahir dengan platform machine learning atau teknologi terkait AI;
• Memiliki pengalaman kontribusi pada proyek open source.