📖 Glossário de Termos¶

Referência rápida dos termos técnicos e conceitos utilizados na documentação do Datalake.

Arquitetura & Infraestrutura¶

Termo	Definição
Medallion Architecture	Padrão de organização de dados em camadas progressivas (Bronze → Silver → Gold) que aumentam a qualidade e granularidade dos dados a cada etapa.
Bronze	Camada de ingestão bruta — dados extraídos das fontes (APIs, bancos, arquivos) sem transformação, armazenados em formato raw no BigQuery.
Silver	Camada de transformação — dados limpos, tipados, deduplicados e com regras de negócio básicas aplicadas via SQL.
Gold	Camada de consumo — dados agregados e modelados para uso direto em dashboards, relatórios e aplicações (ex: `fato_pedido`, `dim_cliente`).
Data Lake	Repositório centralizado para armazenamento de dados brutos e processados em larga escala.
Data Warehouse	Repositório de dados estruturados e otimizados para consultas analíticas. No nosso caso, o BigQuery.
Dataset	Agrupamento lógico de tabelas no BigQuery, organizado por camada e projeto (ex: `bronze_lakehouse`, `gold_operacoes`).
Lakehouse	Combinação de Data Lake + Data Warehouse. Nosso ecossistema que une armazenamento bruto (Bronze) com dados modelados (Gold).

Termo	Definição
Apache Airflow	Plataforma open-source para criar, agendar e monitorar workflows (pipelines de dados) de forma programática.
Cloud Composer	Serviço gerenciado do GCP que executa o Apache Airflow. Atualmente utilizamos 1 Composer (Lakehouse) em produção (versão 2.16.1 / Airflow 2.10.3) orquestrando todos os 4 projetos.
DAG	Directed Acyclic Graph — definição programática de um pipeline no Airflow. Descreve as tarefas, suas dependências e o agendamento.
Task	Unidade mínima de trabalho dentro de uma DAG. Pode ser uma query SQL, script Python, chamada de API, etc.
Task Group	Agrupamento lógico de tasks relacionadas dentro de uma DAG. Ex: `task_group_bronze`, `task_group_silver`.
Operator	Componente do Airflow que define o que uma task faz. Ex: `BigQueryInsertJobOperator`, `PythonOperator`.
Hook	Interface do Airflow para conectar a sistemas externos, abstraindo autenticação e conexão. Ex: `BigQueryHook`, `GCSHook`.
Cron	Formato padrão para especificar intervalos de tempo para agendamento de DAGs (ex: `0 6 * * *` = todos os dias às 6h).
Schedule Interval	Frequência de execução automática de uma DAG, definida em formato Cron ou preset do Airflow (`@daily`, `@hourly`).

Termo	Definição
CTE	Common Table Expression — subconsulta nomeada usando `WITH ... AS (...)` que melhora legibilidade e reutilização em queries SQL complexas.
Tabela Fato	Tabela que armazena eventos ou medições do negócio (ex: `fato_pedido`, `fato_venda`). Contém métricas numéricas e chaves para dimensões.
Tabela Dimensão	Tabela que descreve atributos de entidades do negócio (ex: `dim_cliente`, `dim_produto`). Utilizada para filtros e agrupamentos.
Particionamento	Divisão física de uma tabela em segmentos menores (geralmente por data), melhorando performance e reduzindo custos de consulta.
Clustering	Organização dos dados dentro de partições por colunas específicas, otimizando a performance de consultas que filtram por essas colunas.
MERGE	Instrução SQL que combina INSERT, UPDATE e DELETE em uma única operação. Usada para atualização incremental de tabelas (upsert).
Materialização	Processo de persistir o resultado de uma query em uma tabela física, em vez de recalcular a cada consulta.

Termo	Definição
BigQuery	Data Warehouse serverless do Google Cloud. Utilizado para armazenar e consultar todas as camadas do Datalake.
GCS	Google Cloud Storage — serviço de armazenamento de objetos. Usado para buckets de staging e arquivos de DAGs do Composer.
Cloud Composer	Serviço gerenciado de Airflow no GCP. Veja seção Orquestração.
GitHub Actions	Serviço de CI/CD usado para deploy automático dos DAGs nos Composers via push em branches `qa` e `main`.
Service Account	Identidade não-humana no GCP usada por aplicações e pipelines para autenticação e autorização.
IAM	Identity and Access Management — sistema de controle de acessos do GCP que define quem pode fazer o quê.

Termo	Definição
Soda	Framework de qualidade de dados integrado aos pipelines Airflow, usado para validar expectations (ex: campos não nulos, valores únicos).
Lineage	Rastreamento da linhagem de dados — de onde vêm, por onde passam e onde são consumidos. Implementado via OpenLineage + Marquez.
Data Catalog	Catálogo centralizado de metadados das tabelas, incluindo descrições, owners e tags.
SLA	Service Level Agreement — acordo de nível de serviço que define prazos máximos para disponibilidade dos dados (ex: dados Gold prontos até 7h).
Idempotência	Propriedade de uma operação que produz o mesmo resultado independente de quantas vezes é executada. Essencial em pipelines de dados.

Termo	Definição
DEV	Ambiente de desenvolvimento local. Airflow roda via Docker em VM do GCP. Datasets com sufixo `_dev`.
QA	Ambiente de homologação. Airflow roda via Docker em VM do GCP. Datasets com sufixo `_qa`.
Prod	Ambiente de produção com dados reais. Cloud Composer gerenciado. Datasets sem sufixo.

📅 Atualizado em Março 2026