Engenheiro de Dados BBA - Python

O Engenheiro de Dados Sênior será responsável por projetar, construir, otimizar e sustentar toda a plataforma de dados baseada em Azure Databricks, garantindo qualidade, governança, segurança, performance e escalabilidade.É um papel altamente técnico, com forte atuação em arquitetura, automação, governança e integração entre áreas.

Projetar, implementar e evoluir arquiteturas Lakehouse utilizando o padrão Medallion (Bronze, Silver, Gold) em produção.

Definir padrões de modelagem, versionamento e organização de tabelas no Unity Catalog, incluindo permissões, lineage e governança.

Documentar arquiteturas, fluxos, padrões e boas práticas de engenharia de dados.

Construir pipelines robustos de ingestão, transformação e disponibilização de dados em Python, PySpark e SQL avançado.

Desenvolver pipelines em batch e streaming utilizando Databricks Jobs, Workflows, Delta Live Tables / Lakeflow.

Implementar processos de reconciliação, checagem e qualidade de dados (DQX) com testes automatizados.

Otimizar performance de jobs Spark, particionamento, caching e estratégias de custo.

Administrar e operar recursos de dados no Azure Databricks, ADLS, Azure Data Factory, Azure DevOps, Azure Functions, Synapse Analytics, entre outros.

Abrir, acompanhar e detalhar incidentes na Azure (inglês intermediário).

Monitorar, observar e tratar falhas em pipelines, garantindo confiabilidade e SLA.

Configurar permissões, acessos e governança via Unity Catalog.

Garantir segurança, integridade e conformidade dos dados (incluindo LGPD).

Implementar padrões de auditoria, lineage e rastreabilidade.

Criar testes automatizados de qualidade, reconciliação e validação de dados.

Utilizar ferramentas como DQX Databricks para monitoramento contínuo.

Realizar data profiling, verificação de integridade e consistência.

Versionar código com Git e implementar pipelines de CI/CD em Azure DevOps.

Automatizar deploys de notebooks, workflows, bundles e artefatos Databricks.

Implementar Asset Bundles para empacotamento e promoção entre ambientes.

Trabalhar em conjunto com times de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura.

Apoiar equipes menos experientes, promovendo boas práticas de engenharia.

Traduzir necessidades de negócio em soluções escaláveis e eficientes.

Obrigatórios: - Python - PySpark - Azure Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow, Unit Catalog (permissões) e Asset Bundles; - Microsoft Azure Cloud - SQL avançado - Git e CI/CD pipelines (Azure DevOps) - Inglês Intermediário (Abrir incidentes na Azure) - Qualidade e reconciliação de dados: testes automatizados, DQX Databricks.

Diferenciais/desejável: - Conhecimento em AWS - Azure Kubernetes Service (AKS) - Noções de IA na cloud - Certificações Databricks (Data Engineer Associate / Professional).