A pessoa Engenheira de Dados irá trabalhar junto com nosso Arquiteto de Dados, executando toda a nossa estrutura de engenharia de dados, desde e extração, até a entrega estruturada para o usuário final consumir em relatórios e dashboards. Estamos crescendo a cada ano e estamos expandindo significativamente nosso portfólio de produtos e serviços para clientes internos.

Responsabilidades e atribuições

• Desenvolver e manter pipelines de ingestão, transformação e carga de dados utilizando Azure Data Factory e demais soluções Azure;
• Construir e evoluir as camadas da arquitetura Medalhão (Raw, Bronze, Silver e Gold) no Databricks com Delta Lake;
• Modelar dados utilizando o padrão Data Vault e criar Delta Tables otimizadas para consumo analítico;
• Monitorar e otimizar jobs Spark, com atenção à eficiência de custo e consumo de DBUs no Databricks;
• Governar dados com Unity Catalog — tags, comentários, qualidade, rastreabilidade e...