Descrição

• Projetar, desenvolver e manter plataformas de Big Data, suportando coleta, armazenamento, processamento e análise de grandes volumes de dados;
• Selecionar, com base nas necessidades de negócio, a pilha de tecnologias de Big Data adequada, como Hadoop, Spark, Flink, Kafka, entre outras;
• Desenvolver ferramentas e processos de ETL para suportar extração, transformação e carregamento de dados;
• Responsável pelo design e pela implementação da arquitetura de data warehouse corporativo, construindo modelos em camadas ODS, DWD, DWS e ADS alinhados às características do negócio;
• Desenvolver processos de ETL eficientes e estáveis, baseados em frameworks como Hive, Spark e Flink, para suportar demandas offline e em tempo real;
• Estabelecer um sistema robusto de linhagem de dados e gerenciamento de metadados;
• Responsável pela implementação de um sistema de monitoramento da qualidade de dados;
• Otimizar a arquitetura do data warehouse existente para aprimorar a eficiência do processamento de dados e a utilização de recursos.

Requisitos

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas;
• Mínimo de 5 anos de experiência em desenvolvimento de Big Data e pelo menos 3 anos em construção de data warehouses;
• Domínio de tecnologias de Big Data como Hadoop, Spark, Flink e Kafka;
• Proficiência em Java e fluência em Python e scripts Shell;
• Especialista em otimização de SQL, com domínio de HiveQL e Flink SQL;
• Experiência no desenvolvimento de tarefas de computação em tempo real usando Flink SQL ou DataStream API;
• Experiência com ferramentas de orquestração open source, como DolphinScheduler;
• Familiaridade com Doris ou ClickHouse, incluindo otimização de performance;
• Experiência liderando projetos completos de data warehouse corporativo será um diferencial;
• Forte senso de responsabilidade e capacidade de resolver problemas técnicos complexos de forma independente;
• Boas habilidades de comunicação e espírito de trabalho em equipe;
• Interesse e disposição para aprender novas tecnologias e explorar soluções inovadoras.

Diferenciais

• Experiência em desenvolvimento de Data Lake, com frameworks como Iceberg ou Paimon;
• Familiaridade com plataformas de machine learning ou tecnologias relacionadas a IA;
• Experiência em contribuições para projetos open source.