主要信息

时间类型：全职

工人类型：员工

该职位的目的在于推动构建工件的高效交付，并提供技术领导，负责QBE平台的设计、开发和部署。

• 领导Azure Databricks中使用Python的数据管道和工作流的设计、开发和优化。
• 与平台团队合作，确保资源、安全协议和Databricks环境的可伸缩性的正确对齐。
• 设计、实施和维护优化的ETL管道，确保其可靠、可扩展和高效。
• 与利益相关者密切合作，以了解业务需求并设计满足其需求的数据解决方案。
• 为初级数据工程师提供技术领导，指导他们在数据管道设计、数据处理和Databricks优化的最佳实践方面。
• 与平台团队协调，以确保基础设施的可用性、可靠性和性能。
• 领导与数据处理和管道故障相关的问题解决工作，确保最小的停机时间。
• 监控数据管道的性能并实施优化策略，以改善处理时间、降低成本并提高整体平台效率。
• 与数据架构师和工程师合作，开发可以与Databricks无缝集成的数据模型。
• 保持对数据工程领域最佳实践和新兴技术的最新知识，特别是在Azure生态系统内。

要求：

• 5年以上的数据工程经验，专注于构建和优化数据管道。
• 对Azure Databricks有丰富经验，并能在该环境中领导和优化复杂工作流。
• 精通Python，进行数据处理、管道开发和自动化。
• 具有Azure数据湖、Azure SQL和其他Azure内的数据存储和处理解决方案的经验。
• 对ETL流程有深刻理解，包括管道设计、自动化和故障排除。
• 拥有Databricks Delta Lake、Apache Spark和Databricks性能调优的实践经验。
• 熟悉云基础设施（Azure），包括网络、存储和安全考虑。
• 有能力有效地与跨职能团队（包括平台团队）协作和沟通，以确保对齐和成功交付。
• 具有出色的问题解决和故障排除技能，特别是与数据管道性能和故障相关的技能。
• 优秀的沟通和领导能力，能够指导和辅导初级工程师。

优先资格：

• 具有DevOps实践和数据工程工作流的CI/CD管道经验。
• 熟悉Azure Synapse分析、Azure数据工厂和其他基于Azure的数据服务。
• 在敏捷环境中工作的经验，熟悉项目管理工具。

技能：

沟通,批判性思维,客户服务,金融系统,有意协作,绩效管理,流程改善,关系数据库管理系统(RDBMS),风险管理,软件开发,软件开发生命周期(SDLC)方法论,利益相关者管理,战略领导,团队管理,瀑布模型

如何申请：

要提交申请，请单击“申请”并按照步骤进行操作。

平等就业机会：

QBE是一个平等机会的雇主，必须遵守其运营所在每个辖区的平等就业机会立法。

请参阅职位描述。