Vaga de emprego
Vaga de emprego
Postada: 31-03-2025
Buscamos um Especialista em Big Data para atuar no suporte, otimização e operação de ambientes baseados em Cloudera e Databricks. Esse profissional será responsável pela administração de clusters, troubleshooting avançado, otimização de performance e implementação de boas práticas em plataformas de dados distribuídos.
Responsabilidades:
Administrar e otimizar ambientes de Big Data, garantindo alta disponibilidade e performance.
Monitorar, identificar e resolver incidentes complexos relacionados a Cloudera Data Platform e Databricks.
Atuar no ajuste e tuning de pipelines de dados e workloads de processamento distribuído (Spark, Hadoop, Hive, Impala, Kafka).
Implementar melhores práticas de governança, segurança e automação em clusters de Big Data.
Realizar troubleshooting avançado, incluindo análise de logs, debugging de jobs e otimização de queries.
Criar e manter documentação técnica, roteiros de instalação e checklists operacionais.
Trabalhar em integração com times de engenharia, infraestrutura e fornecedores para garantir a estabilidade e escalabilidade dos ambientes.
Apoiar na implementação de novas soluções e arquiteturas em Cloudera e Databricks, visando performance e eficiência.
Requisitos:
Experiência com Cloudera Data Platform (CDP) e Databricks, incluindo administração, configuração e troubleshooting.
Conhecimento do ecossistema Hadoop (HDFS, Spark, Hive, Impala, Kafka, YARN, Airflow).
Conhecimento em Linux, incluindo administração, tuning de performance e troubleshooting.
Experiência com bancos de dados relacionais e NoSQL para otimização e análise de performance.
Habilidade em scripting e automação (Python, Shell, SQL) para otimizar operações de dados.
Experiência com monitoramento e observabilidade em ambientes distribuídos (Grafana, Prometheus, ELK, Datadog).
Conhecimento em segurança, autenticação e autorização em ambientes de Big Data.
Desejáveis:
Experiência com AWS (S3, EMR, Glue, Lambda, IAM) e sua integração com soluções Big Data.
Certificações Cloudera CDP Administrator, Databricks Certified Developer for Apache Spark.
Experiência com arquitetura de Data Lake e Lakehouse.
Vivência com DataOps e CI/CD para ambientes de dados.
Experiência em projetos de migração de dados e otimização de pipelines.
Dicas de segurança
Quando candidatar e/ou pesquisar vagas, observe estes sinais de fraude em potencial e considere denunciar, quando:
- exigirem pagamento, credenciais da sua conta ou outros dados pessoais confidenciais como parte do processo de recrutamento.
Empregadores legítimos nunca exigem pagamento.
- dizem pagar muito por pouco trabalho, pois são geralmente falsas.
- oferecem emprego depois de só uma entrevista remota.
Certifique-se de pesquisar o empregador e o anunciante.
O Guia Montes Claros apenas disponibiliza as vagas, todo processo ficará a cargo do recrutador.
Não pague nada, a menos que tenha absoluta certeza da idoneidade do recrutador, desconfie sempre.
Onde comer, onde hospedar, onde fazer um happy hour, delivery...
Busque empresas locais em São Paulo
Receba alerta de vagas da cidade São Paulo