Data Lake Lavoro

Plataforma moderna de dados construída no Google Cloud Platform (GCP) que centraliza e organiza dados de múltiplas fontes para análises, dashboards e machine learning.

---

🎯 Objetivos

• Centralização: Consolidar dados de diferentes sistemas (ERP, CRM, Marketing, E-commerce)
• Qualidade: Garantir dados confiáveis através de validações e governança
• Agilidade: Habilitar times de negócio com dados prontos para uso
• Escalabilidade: Suportar crescimento de volume e complexidade

---

🏗️ Arquitetura Medalhão

Seguimos a arquitetura Medalhão com 3 camadas progressivas de refinamento:

graph LR
    A[Fontes de Dados] -->|Ingestão| B[🥉 Bronze]
    B -->|Limpeza| C[🥈 Silver]
    C -->|Agregação| D[🥇 Gold]
    D -->|Consumo| E[Dashboards e APIs]

    style B fill:#cd7f32,stroke:#333,stroke-width:2px,color:#fff
    style C fill:#c0c0c0,stroke:#333,stroke-width:2px
    style D fill:#ffd700,stroke:#333,stroke-width:2px

🥉 Bronze (Zona de Entrada)

Dados brutos sem transformação

• Mantém formato original das fontes
• Esquema flexível
• Objetivo: Auditoria e reprocessamento

🥈 Silver (Zona Validada)

Dados limpos e validados

• Deduplicação e normalização
• Aplicação de regras de negócio
• Esquema estruturado
• Objetivo: Base confiável para análises

🥇 Gold (Zona de Consumo)

Dados agregados e prontos para consumo

• Tabelas otimizadas para BI
• Métricas pré-calculadas
• Performance otimizada
• Objetivo: Análises e dashboards

---

📊 Projetos do Data Lake

Mantemos 4 projetos no Data Lake, todos orquestrados por 1 único Cloud Composer (Lakehouse). Os "projetos" existem apenas a nível de dataset (triplets bronze/silver/gold por área), compartilhando a mesma orquestração.

graph TB
    subgraph Composer_Lakehouse["☁️ Composer Lakehouse (único)"]
        direction TB
        P1["🏢 Lakehouse"]
        P2["👥 CDP"]
        P3["⚙️ Operações"]
        P4["👤 Pessoas"]
    end

    style Composer_Lakehouse fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px

Histórico de consolidação

Anteriormente existiam 3 Cloud Composers (Lakehouse, Operações, Tesouraria) e 5 projetos. A topologia foi consolidada em 1 único Composer orquestrando os 4 projetos restantes. O projeto Tesouraria foi descontinuado.

---

1. 🏢 Lakehouse

🟢 Ativo — Composer Lakehouse

Extração de todas as tabelas dos fornecedores e dados de venda/carteira.

• Áreas: Venda Lavoro, Carteira
• Datasets: bronze_lakehouse, silver_lakehouse, gold_lakehouse
• Atualização: 3x ao dia (06:00, 11:30, 16:30)

---

2. 👥 CDP (Customer Data Platform)

🟢 Ativo — Composer Lakehouse

Consolidação de informações e indicadores de clientes.

• Indicadores: Churn, Vendas por Cliente, Propriedade, Análise RFM
• Datasets: bronze_cdp, silver_cdp, gold_cdp
• Atualização: Diária (até 06:00)

---

3. ⚙️ Operações

🟢 Ativo — Composer Lakehouse

Dados operacionais da Lavoro como revenda.

• Áreas: Estoque, Compras, Custo Projetado, Operacional
• Datasets: bronze_operacoes, silver_operacoes, gold_operacoes
• Atualização: Diária (até 06:00)

---

4. 👤 Pessoas

🟢 Ativo — Composer Lakehouse

Dados dos colaboradores da Lavoro.

• Áreas: Colaboradores, Departamentos, Cargos, Desempenho
• Datasets: bronze_pessoas, silver_pessoas, gold_pessoas
• Atualização: Diária (até 06:00)

---

Dimensões Comuns

Além dos projetos, mantemos dimensões compartilhadas entre todos os projetos, como: Estrutura Comercial, Clientes, Vendedores, Produtos e Tempo. Essas dimensões facilitam a integração e análises cruzadas entre projetos.

---

🔗 Navegação Rápida

🏗️ Arquitetura Técnica

Entenda nossa stack tecnológica, IAC (Terraform), CI/CD e infraestrutura.

Ver Arquitetura

🔄 Orquestração

Como utilizamos Apache Airflow e Cloud Composer para orquestrar pipelines.

Ver Orquestração

📐 Convenções de Dados

Padrões de nomenclatura, estrutura de tabelas, tipos de dados e modelagem.

Ver Convenções

📋 Regras Gerenciais

Transformações de negócio aplicadas aos dados para análises gerenciais.

Ver Regras Gerenciais

✅ Qualidade de Dados

Validações automatizadas com Soda Core, monitoramento de freshness e alertas.

Ver Qualidade

🔗 Data Lineage & Catalog

Rastreamento de dados (lineage) e inventário completo de tabelas (catalog).

Ver Lineage & Catalog

🚀 Aplicações

Aplicações web desenvolvidas pela equipe de dados, hospedadas no Cloud Run.

Ver Aplicações

---

🛠️ Stack Tecnológico

Camada	Tecnologia	Descrição
Provedor de Nuvem	Google Cloud Platform (GCP)	Infraestrutura em nuvem
Armazenamento	Cloud Storage, BigQuery	Arquivos brutos e data warehouse
Ingestão de Dados	Cloud Composer (Airflow), APIs	Orquestração e ingestão de dados
Processamento	BigQuery (SQL), Python	Transformações e lógicas de negócio
Orquestração	Cloud Composer (Apache Airflow)	1 Composer (Lakehouse) gerenciando 4 projetos
Governança	Dataplex, Data Loss Prevention	Catalogação e proteção de dados sensíveis
Machine Learning	BigQuery ML, Vertex AI, Managed Notebooks	Modelos preditivos e análises avançadas
Visualização	Power BI	Dashboards e relatórios de negócio
Infraestrutura como Código	Terraform	Provisionamento automatizado de recursos
Controle de Versão	GitHub	Repositório de código (DAGs, scripts, SQL)
CI/CD	GitHub Actions	Integração e deploy contínuo
Segurança	Secret Manager, IAM	Gerenciamento de credenciais e acessos
Monitoramento	Cloud Logging, Cloud Monitoring	Logs, métricas e alertas

---

Última atualização: Março 2026 | Versão 2.0