Detalhes principais

Tipo de tempo: Tempo integral

Tipo de trabalhador: Funcionário

O objetivo deste cargo é impulsionar a entrega eficiente de artefatos de construção e fornecer liderança técnica no design, desenvolvimento e implantação das plataformas da QBE.

• Liderar o design, desenvolvimento e otimização de pipelines de dados e fluxos de trabalho dentro do Azure Databricks usando Python.
• Colaborar com a equipe da plataforma para garantir o alinhamento apropriado de recursos, protocolos de segurança e escalabilidade para o ambiente Databricks.
• Arquitetar, implementar e manter pipelines ETL otimizados, garantindo que sejam confiáveis, escaláveis e eficientes.
• Trabalhar de perto com as partes interessadas para entender os requisitos de negócios e projetar soluções de dados que atendam às suas necessidades.
• Fornecer liderança técnica a engenheiros de dados juniores, guiando-os nas melhores práticas para design de pipeline de dados, processamento de dados e otimização do Databricks.
• Coordenar com a equipe da plataforma para garantir a disponibilidade, confiabilidade e desempenho da infraestrutura subjacente.
• Liderar esforços de resolução de problemas e troubleshooting relacionados ao processamento de dados e falhas de pipeline, garantindo o mínimo de inatividade.
• Monitorar o desempenho dos pipelines de dados e implementar estratégias de otimização para melhorar os tempos de processamento, reduzir custos e aprimorar a eficiência geral da plataforma.
• Colaborar com arquitetos de dados e engenheiros para desenvolver modelos de dados que possam ser integrados de forma contínua ao Databricks.
• Manter conhecimentos atualizados sobre as melhores práticas e tecnologias emergentes em engenharia de dados, especialmente dentro do ecossistema Azure.

Requisitos:

• 5+ anos de experiência em engenharia de dados com foco na construção e otimização de pipelines de dados.
• Forte experiência com Azure Databricks e a capacidade de liderar e otimizar fluxos de trabalho complexos nesse ambiente.
• Proficiência em Python para processamento de dados, desenvolvimento de pipelines e automação.
• Experiência com Azure Data Lake, Azure SQL e outras soluções de armazenamento e processamento de dados dentro do Azure.
• Sólido entendimento dos processos ETL, incluindo design de pipeline, automação e troubleshooting.
• Experiência prática com Databricks Delta Lake, Apache Spark e ajuste de desempenho no Databricks.
• Familiaridade com infraestrutura de nuvem (Azure), incluindo considerações de rede, armazenamento e segurança.
• Capacidade de colaborar e se comunicar efetivamente com equipes multifuncionais, incluindo equipes de plataforma, para garantir alinhamento e entrega bem-sucedida.
• Fortes habilidades de resolução de problemas e troubleshooting, particularmente relacionadas ao desempenho e falhas de pipeline de dados.
• Excelentes habilidades de comunicação e liderança, com a capacidade de mentorar e orientar engenheiros juniores.

Qualificações Preferenciais:

• Experiência com práticas de DevOps e pipelines CI/CD para fluxos de trabalho de engenharia de dados.
• Familiaridade com Azure Synapse Analytics, Azure Data Factory e outros serviços de dados baseados em Azure.
• Experiência trabalhando em um ambiente ágil com familiaridade com ferramentas de gerenciamento de projetos.

Habilidades:

Comunicação,Pensamento Crítico,Atendimento ao Cliente,Sistemas Financeiros,colaboração intencional,Gestão de desempenho,Melhorias de Processos,Sistema de Gerenciamento de Banco de Dados Relacional (RDBMS),Gestão de Risco,Desenvolvimento de Software,Métodos de Ciclo de Vida de Desenvolvimento de Software (SDLC),Gestão de Stakeholders,Liderança Estratégica,Gestão de Equipe,Modelo Waterfall

Como se Inscrever:

Para enviar sua inscrição, clique em "Inscreva-se" e siga o processo passo a passo.

Oportunidade de Emprego Igualitária:

A QBE é um empregador que oferece igualdade de oportunidades e é obrigada a cumprir a legislação de igualdade de oportunidades de emprego em cada jurisdição em que opera.

Por favor, consulte a descrição do trabalho.