Dados: Arquitetura, Engenharia e SQL

SELECT municipio, SUM(valor) AS total
FROM arrecadacao
WHERE ano = 2026
GROUP BY municipio;

Tipos de dados e Big Data

Os Vs do Big Data

• Volume (quantidade), Velocidade (taxa de geração/processamento), Variedade (formatos) — os 3 Vs originais (Doug Laney).
• Veracidade (confiabilidade/qualidade) e Valor (utilidade para o negócio) completam os 5 Vs.

Processamento distribuído: Hadoop

• HDFS: sistema de arquivos distribuído. NameNode guarda metadados (onde está cada bloco); DataNodes guardam os blocos. Blocos grandes (padrão 128 MB no Hadoop 2+) e replicação padrão 3.
• MapReduce: fase map (gera pares chave-valor) → shuffle/sort (agrupa por chave) → reduce (agrega). Grava resultados intermediários em disco (por isso é lento frente ao Spark).
• YARN: gerenciador de recursos (ResourceManager + NodeManagers).
• Princípio-chave: levar o processamento até o dado (localidade de dados), e não o dado até o processamento.

Apache Spark e PySpark

• Motor de processamento distribuído em memória, muito mais rápido que MapReduce em cargas iterativas.
• Arquitetura: Driver (programa principal, cria o plano/DAG, SparkSession) + Executors (executam tarefas nos nós) + Cluster Manager (standalone, YARN, Kubernetes).
• Abstrações: RDD (Resilient Distributed Dataset — imutável, particionado, tolerante a falhas pela linhagem) → DataFrame (colunas nomeadas, otimizado pelo Catalyst) → Dataset (tipado, Scala/Java).
• Módulos: Spark SQL, Structured Streaming, MLlib, GraphX.

• Narrow (estreita): cada partição de saída depende de uma partição de entrada (filter, map) — sem shuffle.
• Wide (larga): exige shuffle entre nós (groupBy, join, distinct) — cria novo estágio, é a operação cara.

from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.appName("icms").getOrCreate()
df = spark.read.parquet("/lake/silver/nfe")          # transformação (lazy)
res = (df.filter(F.col("uf") == "SP")                 # narrow
         .groupBy("cnae")                             # wide (shuffle)
         .agg(F.sum("valor").alias("total")))
res.show()                                            # AÇÃO: aqui executa

Arquiteturas: DW, Data Mart, Data Lake, Lakehouse

Data Warehouse (Inmon)

Data Mart

• Subconjunto do DW focado em um departamento/assunto (ex.: mart de ITCMD).
• Dependente: alimentado pelo DW. Independente: alimentado direto das fontes (risco de "silos" e números divergentes).

Comparativo das arquiteturas

Arquitetura medalhão (medallion)

• Bronze: dado bruto, como chegou (ingestão, histórico, reprocessável).
• Prata (silver): limpo, deduplicado, tipado, conformado.
• Ouro (gold): agregado e modelado para consumo (BI, indicadores, modelos estrela).

Engenharia de dados: pipelines, ETL e ELT

• Staging area: área intermediária onde os dados extraídos ficam para limpeza/integração.
• Carga full x incremental (só o que mudou: por data de alteração, watermark ou CDC — Change Data Capture, que lê o log de transações da fonte).
• Orquestração: agenda e encadeia tarefas como um DAG (ex.: Apache Airflow, Azure Data Factory).
• Idempotência: rodar o pipeline duas vezes não duplica nem corrompe o resultado.

Tratamento, limpeza e preparação

Qualidade de dados (dimensões)

Batch x Streaming

Janelas em streaming

• Tumbling (fixa/em cascata): tamanho fixo, sem sobreposição (ex.: a cada 5 min).
• Sliding/Hopping (deslizante/saltitante): tamanho fixo, com sobreposição (10 min, avançando a cada 1 min).
• Session (sessão): fecha após um período de inatividade (gap).
• Event time (quando ocorreu) x processing time (quando chegou). Watermark: limite de tolerância para eventos atrasados.

Modelagem relacional e normalização

• Modelo conceitual (MER/DER, independente de SGBD) → lógico (tabelas, chaves) → físico (tipos, índices, particionamento do SGBD específico).
• Superchave: identifica unicamente. Chave candidata: superchave mínima. Primária: a candidata escolhida (não nula, única). Alternativa: candidata não escolhida. Estrangeira: referencia a PK de outra tabela (integridade referencial).
• Integridade de entidade (PK não nula) x integridade referencial (FK aponta para registro existente ou é nula).
• Cardinalidade 1:1, 1:N, N:N (N:N vira tabela associativa no modelo lógico).

Modelagem dimensional

• Fato: evento/processo de negócio mensurável; guarda métricas numéricas + FKs das dimensões. Tabela longa e estreita.
• Dimensão: contexto descritivo (quem, o quê, onde, quando); atributos textuais para filtrar e agrupar. Tabela larga e curta.
• Granularidade (grão): o nível de detalhe de uma linha da fato (ex.: "um item de NF-e"). É a decisão mais importante.
• Surrogate key (chave substituta): inteiro sem significado gerado no DW; desacopla da chave natural da fonte e viabiliza SCD tipo 2.
• Hierarquias: Ano → Trimestre → Mês → Dia; País → UF → Município (base do drill-down/roll-up).

Estrela x Floco de neve x Constelação

Tipos de métricas e de fatos

• Aditiva: soma em todas as dimensões (valor do ICMS). Semiaditiva: soma em algumas, não no tempo (saldo, estoque). Não aditiva: não soma (percentual, preço unitário, razão).
• Fato transacional (um evento por linha), snapshot periódico (foto em intervalos: saldo mensal), snapshot acumulado (marcos de um processo com várias datas: pedido → faturado → entregue), fato sem fato (factless) (registra ocorrência sem métrica: presença, cobertura).

Tipos especiais de dimensão

• Conformada: mesma dimensão compartilhada por várias fatos/marts (integra o barramento).
• Degenerada: atributo de dimensão sem tabela própria, guardado na fato (número da NF).
• Junk (lixo): agrupa flags e indicadores de baixa cardinalidade.
• Role-playing: mesma dimensão com papéis diferentes (Data de emissão, Data de pagamento).

SCD — Slowly Changing Dimensions

OLTP x OLAP e operações OLAP

Bancos relacionais, colunares e NoSQL

Teorema CAP (Brewer)

• Durante uma partição de rede, um sistema distribuído não pode garantir simultaneamente Consistência no sentido de linearizabilidade e Availability/Disponibilidade para todas as requisições aos nós não falhos. Partition tolerance diz respeito à operação apesar dessa separação de comunicação; o atalho “escolha quaisquer duas letras” precisa dessa ressalva.
• Como partição de rede é inevitável em sistema distribuído, na prática a escolha é entre CP e AP quando ocorre a partição.

Tipos de NoSQL

Banco colunar (analítico)

• Armazena os dados coluna a coluna no disco (e não linha a linha). Lê só as colunas da consulta e comprime muito bem (valores repetidos na mesma coluna).
• Ótimo para OLAP/agregações; ruim para inserir/atualizar registros individuais.
• Exemplos: Amazon Redshift, Google BigQuery, ClickHouse, Vertica, índice columnstore do SQL Server; formatos de arquivo Parquet e ORC (colunares) x CSV/Avro (orientados a linha).

SQL: sublinguagens e comandos

Restrições (constraints)

PRIMARY KEY, FOREIGN KEY ... REFERENCES (com ON DELETE CASCADE / SET NULL / NO ACTION), UNIQUE (aceita NULL, conforme SGBD), NOT NULL, CHECK, DEFAULT.

SQL: consulta (DQL), agregação e filtros

Ordem lógica de execução

SELECT   c.uf, COUNT(*) AS qtd, SUM(n.valor_icms) AS total
FROM     nfe n
JOIN     contribuinte c ON c.id = n.id_contrib
WHERE    n.dt_emissao >= '2026-01-01'        -- filtra linhas
GROUP BY c.uf
HAVING   SUM(n.valor_icms) > 1000000         -- filtra grupos
ORDER BY total DESC;                          -- alias permitido aqui

Funções de agregação e NULL

• COUNT(*) conta linhas (inclusive com NULL); COUNT(coluna) ignora NULL; COUNT(DISTINCT coluna) conta valores distintos não nulos.
• SUM, AVG, MIN, MAX ignoram NULL. AVG de (10, NULL, 20) = 15, não 10.
• Na regra padrão, toda coluna do SELECT que não estiver em função de agregação deve estar no GROUP BY.
• NULL = NULL não é verdadeiro (resulta em desconhecido): use IS NULL / IS NOT NULL. COALESCE(a, b) devolve o primeiro não nulo.

Filtros e operadores lógicos

• BETWEEN a AND b é inclusivo nos dois extremos.
• LIKE: % = qualquer sequência (inclusive vazia); _ = exatamente um caractere. '_A%' = segundo caractere é A.
• IN (lista), EXISTS (subconsulta), ANY/ALL.
• Precedência: NOT > AND > OR. Sem parênteses, A OR B AND C = A OR (B AND C).
• ORDER BY padrão é ASC; posição de NULL na ordenação varia conforme o SGBD.
• CASE WHEN ... THEN ... ELSE ... END para lógica condicional.

SQL: junções, conjuntos, subconsultas e janelas

-- Anti-join: contribuintes SEM nenhuma nota emitida
SELECT c.id, c.razao
FROM   contribuinte c
LEFT JOIN nfe n ON n.id_contrib = c.id
WHERE  n.id_contrib IS NULL;

Operações de conjunto

• UNION = união sem duplicatas; UNION ALL = mantém duplicatas (mais rápido).
• INTERSECT = interseção; EXCEPT (no Oracle, MINUS) = diferença.
• Exigem o mesmo número de colunas, com tipos compatíveis, na mesma ordem.

Subconsultas e CTE

• Correlacionada: referencia a consulta externa e é avaliada para cada linha dela.
• CTE: WITH nome AS (SELECT ...) SELECT ... FROM nome — legibilidade; WITH RECURSIVE para hierarquias.
• View: consulta armazenada (tabela virtual). View materializada: guarda o resultado fisicamente e precisa de refresh.

Funções de janela (window functions)

SELECT uf, municipio, arrecadacao,
       ROW_NUMBER() OVER (PARTITION BY uf ORDER BY arrecadacao DESC) AS rn,
       RANK()       OVER (PARTITION BY uf ORDER BY arrecadacao DESC) AS rk,
       DENSE_RANK() OVER (PARTITION BY uf ORDER BY arrecadacao DESC) AS drk,
       LAG(arrecadacao) OVER (ORDER BY mes) AS mes_anterior
FROM   arrecadacao_municipio;

Variações (dialetos) do SQL

No ecossistema big data: Spark SQL, HiveQL (Hive sobre Hadoop) e SQL em motores distribuídos (Presto/Trino) — SQL sobre arquivos do lago.

Análise de dados: EDA, mineração e analytics

• EDA (análise exploratória): entender os dados antes de modelar — estatísticas descritivas, distribuições (histograma, boxplot), correlações, ausentes e outliers.
• Medidas de posição (média, mediana, moda) e de dispersão (amplitude, variância, desvio-padrão, IQR = Q3 − Q1). Mediana é robusta a outliers; média não.
• Outlier pelo boxplot: abaixo de Q1 − 1,5·IQR ou acima de Q3 + 1,5·IQR.
• Assimetria: cauda à direita (positiva) → média > mediana.

KDD e mineração de dados

• KDD (Fayyad): seleção → pré-processamento → transformação → mineração de dados → interpretação/avaliação. A mineração é uma etapa do KDD.
• Tarefas: classificação e regressão (preditivas, supervisionadas); agrupamento, regras de associação e detecção de anomalias (descritivas).
• Associação (market basket, ex.: Apriori): suporte = frequência do conjunto; confiança = P(B | A); lift > 1 indica associação positiva.

Governança técnica: metadados, catálogo e MDM

• Metadados: técnicos (tipos, esquemas, tabelas), de negócio (definições, glossário) e operacionais (cargas, logs, horários).
• Catálogo de dados: inventário pesquisável dos ativos de dados (o que existe, onde, quem é dono, qualidade). Evita o data swamp.
• Linhagem (lineage): rastreia origem e transformações do dado até o relatório — essencial para auditoria e análise de impacto.
• MDM — Master Data Management: "registro de ouro" (golden record) dos dados mestres (contribuinte, produto, município). Dados de referência: listas de domínio (UF, CFOP, NCM).
• DAMA-DMBOK: referência de gestão de dados com 11 áreas de conhecimento e a governança de dados no centro da "roda".
• Papéis: data owner (dono, responde pelo dado no negócio), data steward (curador, cuida de definições e qualidade), data custodian (custodiante técnico: TI que armazena, protege, faz backup).

Teste rápido