主要細節

時間類型：全職

工作類型：員工

此角色的目的是推動構建工件的高效交付，並在設計、開發和部署 QBE 平台方面提供技術領導。

• 領導使用 Python 在 Azure Databricks 中設計、開發和優化數據管道和工作流。
• 與平台團隊合作，確保資源、安全協議和 Databricks 環境的擴展性正確對齊。
• 設計、實施和維護優化的 ETL 管道，確保它們可靠、可擴展且高效。
• 與利益相關者緊密合作，以了解業務需求並設計滿足其需求的數據解決方案。
• 向初級數據工程師提供技術領導，指導他們有關數據管道設計、數據處理和 Databricks 優化的最佳實踐。
• 與平台團隊協調，以確保基礎設施的可用性、可靠性和性能。
• 領導有關數據處理和管道故障的故障排除和問題解決工作，確保最小的停機時間。
• 監控數據管道的性能並實施優化策略，以提高處理時間、降低成本並增強整體平台效率。
• 與數據架構師和工程師合作開發可與 Databricks 無縫集成的數據模型。
• 保持對數據工程最佳實踐和新興技術的最新知識，特別是在 Azure 生態系統內。

要求：

• 5年以上數據工程經驗，專注於構建和優化數據管道。
• 在 Azure Databricks 中擁有強大的經驗，並能夠領導和優化複雜的工作流程。
• 精通使用 Python 進行數據處理、管道開發和自動化。
• 擁有 Azure Data Lake、Azure SQL 和 Azure 中其他數據存儲和處理解決方案的經驗。
• 對 ETL 過程有深入了解，包括管道設計、自動化和故障排除。
• 擁有 Databricks Delta Lake、Apache Spark 和 Databricks 中性能調優的實踐經驗。
• 熟悉雲基礎設施（Azure），包括網絡、存儲和安全考慮。
• 能夠有效地與跨功能團隊（包括平台團隊）進行合作和溝通，以確保對齊和成功交付。
• 擅長解決問題和故障排除的能力，特別是與數據管道性能和故障有關的。
• 出色的溝通和領導技能，能夠指導初級工程師。

優先資格：

• 擁有 DevOps 實踐和數據工程工作流程的 CI/CD 管道的經驗。
• 熟悉 Azure Synapse Analytics、Azure Data Factory 和其他基於 Azure 的數據服務。
• 在熟悉項目管理工具的敏捷環境中工作經驗。

技能：

溝通, 批判性思維, 客戶服務, 財務系統, 故意合作, 管理性能, 流程改進, 關係型數據庫管理系統 (RDBMS), 風險管理, 軟體開發, 軟體開發生命週期（SDLC）方法, 利益相關者管理, 策略領導, 團隊管理, 瀑布模型

如何申請：

要提交申請，請單擊“申請”並按照逐步流程進行。

平等就業機會：

QBE 是一家平等機會雇主，並且在其運營的每個司法管轄區都需要遵守平等就業機會立法。

請參閱職位描述。