Engenheiro de Dados Pleno
- •Engenheiro(a) de Dados Pleno
- •DatabricksModelo de trabalho: RemotoRegime de contratação: CLTSenioridade: PlenoSobre a oportunidadeBuscamos uma pessoa Engenheira de Dados Pleno para desenvolver e operar pipelines escaláveis na plataforma Databricks. Você atuará da ingestão à disponibilização dos dados para análises e produtos, contribuindo com decisões de arquitetura, qualidade, performance, segurança e confiabilidade.
RESPONSABILIDADES E ATRIBUIÇÕES
Principais responsabilidades:
Construir e manter pipelines de ingestão e transformação para dados de APIs, bancos relacionais, arquivos e data lakes.
Desenvolver soluções em Python, SQL e PySpark, com código organizado, reutilizável e testável.
Modelar dados em Delta Lake, aplicando cargas incrementais, operações MERGE e boas práticas de manutenção.
Implementar arquiteturas Medallion (Bronze, Silver e Gold) e regras de qualidade de dados.
Orquestrar jobs e pipelines, configurar dependências, parâmetros, retentativas e alertas.
Monitorar execuções, investigar falhas e diagnosticar problemas de qualidade e performance.
Otimizar consultas, processamento, uso de clusters e custos, medindo os resultados das melhorias.
Aplicar práticas de governança e segurança, incluindo controle de acesso e proteção de dados sensíveis.
Colaborar em revisões de código, testes, versionamento e implantação entre ambientes.
REQUISITOS E QUALIFICAÇÕES
Requisitos:
Experiência prática com Python, SQL avançado e PySpark.
Experiência na construção e operação de pipelines de dados em Databricks.
Conhecimento de Delta Lake, incluindo transações, evolução de schema, cargas incrementais e operações de atualização.
Experiência com processamento batch; conhecimento de streaming é desejável.
Conhecimento de arquitetura Medallion e de formatos como CSV, JSON e Parquet.
Experiência com orquestração de jobs, monitoramento e tratamento de falhas.
Familiaridade com Git, revisão de código e testes.
Capacidade de investigar problemas, explicar decisões técnicas e atuar com autonomia.
DIFERENCIAIS
Experiência com Auto Loader, Structured Streaming e pipelines declarativos.
Conhecimento de Unity Catalog, linhagem, auditoria e permissões.
Experiência com AWS, Azure ou Google Cloud.
Prática com CI/CD, infraestrutura como código e Databricks Asset Bundles ou ferramentas equivalentes.
Certificação Databricks Certified Data Engineer Associate.
INFORMAÇÕES ADICIONAIS
- •Vale-alimentação ou vale-refeição;
- •
- •Desconto em cursos, universidades e instituições de idiomas;
- •Academia Stefanini
- •plataforma com cursos on-line, gratuitos, atualizados e com certificado;
- •Mentoring;
- •Clube de vantagens para consultas e exames;
- •Assistência médica;
- •Assistência odontológica;
- •Clube de vantagens e descontos nos melhores estabelecimentos;
- •Clube de viagens;
- •Convênio para pets.
Quer se candidatar a esta vaga de Engenheiro de Dados Pleno com vantagem?
Receba em segundos uma versão adaptada do seu currículo com as palavras-chave e competências exatas exigidas pelos recrutadores desta oportunidade.
Clique para selecionar seu currículo (PDF ou Word)
O sistema lê seu histórico e gera a versão ideal para Engenheiro de Dados Pleno