Engenheiro(a) de Dados Sênior – Azure & Databricks

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | Azure & Databricks para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms.

Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambiente Azure Databricks, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados.

Responsabilidades

• Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks;
• Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT), incluindo cenários de ingestão em tempo real;
• Implementar e otimizar soluções utilizando Azure Data Factory, Azure Data Lake Storage (ADLS Gen2), Databricks Jobs/Workflows, Azure Functions, Azure Synapse Analytics e Event Hubs/Event Grid;
• Projetar, implementar e sustentar Data Lakes e arquiteturas Lakehouse (medallion: Bronze/Silver/Gold) em ambiente Azure Databricks;
• Desenvolver soluções utilizando Python, SQL e PySpark, com foco em performance, escalabilidade e qualidade dos dados;
• Trabalhar com grandes volumes de dados estruturados e não estruturados;
• Garantir qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline, utilizando Unity Catalog e seguindo os requisitos da LGPD;
• Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance;
• Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas;
• Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados;
• Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma;
• Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.

Requisitos mínimos

• Experiência sólida como Engenheiro(a) de Dados em ambiente Azure;
• Domínio dos principais serviços de dados do Azure, como Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions;
• Experiência sólida no desenvolvimento de pipelines ETL/ELT;
• Conhecimento avançado em Python e SQL;
• Experiência com modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse;
• Conhecimento em Apache Spark ou PySpark;
• Experiência com versionamento utilizando Git e práticas de CI/CD, idealmente Azure DevOps;
• Conhecimento em particionamento, otimização de consultas e processamento distribuído;
• Experiência com monitoramento, observabilidade e troubleshooting de pipelines;
• Conhecimento em arquitetura de dados em Cloud e boas práticas de segurança, governança e conformidade com o LGPD;
• Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.

Diferenciais

• Experiência com Databricks Unity Catalog para governança e catalogação de dados;
• Conhecimento em Delta Lake e arquitetura medallion (Bronze/Silver/Gold);
• Conhecimento em Azure Data Factory e/ou Databricks Workflows / Databricks Asset Bundles (DABs) para orquestração;
• Experiência com arquiteturas orientadas a eventos (Event Hubs, Event Grid);
• Experiência com integração de sistemas legados/ERP, como SAP, em pipelines de dados;
• Conhecimento em frameworks de qualidade de dados, como DQX, dbt e Great Expectations;
• Conhecimento em ingestão de dados em tempo real, como Event Hubs e Kafka;
• Experiência com Docker e Kubernetes (AKS);
• Conhecimento em infraestrutura como código (Terraform ou Bicep/ARM Templates);
• Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps;
• Experiência em ambientes corporativos de grande porte e projetos de missão crítica;
• Certificações Azure e/ou Databricks, como DP-203 e Databricks Certified Data Engineer.

Modelo de trabalho

• Localização: Campinas – SP
  Modalidade: Remoto – Remoto, porém o candidato deve ter disponibilidade para participar de reuniões presenciais esporadicamente, quando necessário.
  Modelo de Contratação : CLT ou PJ