PeoplePlus Tech Apache Flink Engineer

Engenheiro Apache Flink

PeoplePlus Tech

₱70-130K[Mensual]

Remoto5-10 anos ExpBacharelTempo Inteiro

Detalhes remotos

Abrir País：Filipinas

Requisitos de Idioma：Portuguese-Brazil

Este trabalho remoto está aberto para candidatos em países específicos. Por favor, confirme se deseja continuar, apesar das restrições de localização.

Descrição do Trabalho

Mostrar texto original

Descrição:

Integração com Kafka - Configuração de jobs Flink para conectar-se de forma integrada a tópicos específicos do Kafka, definindo grupos de consumidores e gerenciando a serialização/deserialização de dados.
Lógica de Processamento de Stream - Escrever lógica de processamento de dados Flink utilizando a API DataStream para filtrar, agregar, segmentar e manipular streams de dados recebidos do Kafka.
Gerenciamento de Estado - Implementação de operações com estado dentro dos jobs Flink para manter o contexto entre eventos em um stream de dados, como rastreamento de totais acumulados ou informações de sessão.
Otimização de Jobs Flink - Ajuste de parâmetros de jobs Flink para desempenho, paralelismo e tolerância a falhas, visando lidar com streams de dados de alto volume de forma eficiente.
Monitoramento e Alerta - Configuração de sistemas de monitoramento para acompanhar a saúde dos jobs Flink, identificar possíveis problemas e disparar alertas para preocupações operacionais.
Desenvolvimento de Aplicações Flink - Escrever código para definir pipelines de dados utilizando a API DataStream do Flink, incluindo ingestão, transformação e operações de saída de dados.
Projeto de Processamento de Stream - Arquitetura de soluções de processamento de dados em tempo real utilizando as capacidades do Flink para gerenciamento de estado, janelamento e tolerância a falhas.
Otimização de Desempenho - Monitoramento e ajuste de jobs Flink para garantir processamento de dados eficiente e alta taxa de transferência.
Integração com Outros Sistemas - Conexão de aplicações Flink a fontes de dados como Kafka, bancos de dados e outros sistemas de processamento de dados.
Gerenciamento de Cluster - Implantação e gerenciamento de jobs Flink em clusters de computação distribuída como Kubernetes.

Requisito

Compreensão profunda da arquitetura do Kafka, produtores, consumidores, partições, corretores e gestão de tópicos.
Conhecimento da arquitetura do Kafka, produtores, consumidores, gestão de tópicos e Kafka Streams API.
Familiaridade com desenvolvimento em Java para escrever aplicações Flink e interagir com o Kafka usando bibliotecas Java.
Compreensão dos princípios de processamento de stream, processamento em tempo de evento, técnicas de janelas e semântica de exatamente uma vez.
Compreensão profunda de conceitos do Flink como DataStream API, operadores, gestão de estado, janelas e mecanismos de tolerância a falhas.
Familiaridade com princípios de computação distribuída e conceitos como tolerância a falhas, balanceamento de carga e particionamento de dados.
Experiência com outras ferramentas de processamento de dados como Kafka, Spark ou Hadoop pode ser benéfica.
Compreensão de SQL pode ser valiosa para trabalhar com a API SQL do Flink.
Processamento de dados ao vivo de sensores ou aplicações para gerar insights quase instantâneos.
Análise de transações financeiras em tempo real para identificar atividades suspeitas.
Realização de agregação e análise de logs ao vivo para detectar problemas no sistema.
Monitoramento de níveis de estoque em tempo real para otimizar a gestão de inventário.

apacheflink