Fluência de Dados

Ciência de dados: conceitos e tipos de dados

• Ciência de dados: campo interdisciplinar que extrai conhecimento e valor de dados combinando estatística/matemática, computação e conhecimento do domínio (negócio).
• Pirâmide DIKW: Dado (fato bruto: "1.250") → Informação (dado com contexto: "R$ 1.250 de ICMS em set/26") → Conhecimento (padrão compreendido: "arrecadação cai em setembro") → Sabedoria (decisão: "antecipar fiscalização em agosto").

Ciclo de vida da informação e do processo de ciência de dados

Ciclo de vida da informação (visão de segurança, Sêmola)

• Manuseio (criação e manipulação) → Armazenamento → Transporte (transmissão) → Descarte.
• Em cada fase devem ser preservadas confidencialidade, integridade e disponibilidade.

Ciclo de vida dos dados (visão de gestão)

Coleta/criação → armazenamento → processamento/uso → compartilhamento/publicação → arquivamento/retenção → descarte/eliminação. A LGPD chama tudo isso de tratamento (art. 5º, X: coleta, produção, recepção, classificação, utilização, acesso, reprodução, transmissão, distribuição, processamento, arquivamento, armazenamento, eliminação etc.).

Processo de ciência de dados

• Definir o problema → obter dados → limpar/preparar → explorar (EDA) → modelar → avaliar/interpretar → comunicar e implantar → monitorar.
• Modelo OSEMN: Obtain (obter), Scrub (limpar), Explore (explorar), Model (modelar), iNterpret (interpretar).

Metodologia CRISP-DM

CRoss-Industry Standard Process for Data Mining: modelo de processo independente de setor e de ferramenta, com 6 fases, cíclico e iterativo (não é cascata).

• Idas e vindas típicas: Negócio ⇄ Dados; Preparação ⇄ Modelagem; Avaliação → volta ao Negócio. O círculo externo mostra que o ciclo recomeça após a implantação.

Big Data, arquitetura e engenharia de dados

• 5 Vs: Volume, Velocidade, Variedade (os 3 clássicos) + Veracidade, Valor.
• Engenharia de dados: construir e manter pipelines que coletam, integram, transformam e disponibilizam dados confiáveis (ETL/ELT, batch e streaming). O engenheiro "entrega o dado pronto"; o cientista de dados "extrai o conhecimento".

Pré-processamento

• Limpeza: valores ausentes (remover ou imputar média/mediana/moda), ruídos, erros, outliers, padronização de formatos.
• Integração: unir fontes, resolver conflitos de nomes e chaves, eliminar redundância.
• Transformação: normalização de escala (min-max → [0,1]; z-score), agregação, discretização (faixas), codificação de categóricas.
• Redução: menos atributos (seleção, PCA) ou menos registros (amostragem).

Qualidade de dados — as 5 dimensões do edital

Bancos de dados e SQL (DQL)

DQL: estrutura e ordem

SELECT   uf, COUNT(*) AS qtd, SUM(valor) AS total   -- projeção + agregação
FROM     nfe                                          -- origem
WHERE    valor > 0 AND situacao = 'AUTORIZADA'        -- filtro de LINHAS
GROUP BY uf                                           -- agrupamento
HAVING   SUM(valor) > 100000                          -- filtro de GRUPOS
ORDER BY total DESC;                                  -- ordenação

• Agregação: COUNT, SUM, AVG, MIN, MAX. Ignoram NULL (exceto COUNT(*), que conta linhas).
• Filtros e lógica: =, <>, >, <, BETWEEN (inclusivo), IN, LIKE (% qualquer sequência, _ um caractere), IS NULL, AND/OR/NOT (precedência: NOT, AND, OR).
• Junção: INNER (só com correspondência), LEFT/RIGHT (preserva um lado), FULL (preserva ambos), CROSS (cartesiano).
• Ordenação: ORDER BY é ASC por padrão; DESC para decrescente.

Análise de dados e Data Mining

• Data mining: descoberta de padrões úteis e não óbvios em grandes volumes de dados. É uma etapa do processo KDD (seleção → pré-processamento → transformação → mineração → interpretação).
• Tarefas preditivas: classificação (categoria: "sonegador/não sonegador"), regressão (valor numérico). Tarefas descritivas: agrupamento, regras de associação ("quem compra A compra B"), detecção de anomalias.

IA, Machine Learning, Deep Learning, PLN e LLMs

• Inteligência Artificial ⊃ Aprendizado de Máquina ⊃ Aprendizado Profundo (círculos concêntricos).
• Machine Learning: sistemas que aprendem padrões a partir de dados em vez de seguir regras programadas explicitamente.
• Deep Learning: redes neurais com muitas camadas; aprende representações automaticamente; brilha em imagem, voz e texto; exige muitos dados e poder computacional.
• PLN (Processamento de Linguagem Natural): máquinas que entendem e geram linguagem humana — tokenização, análise de sentimento, classificação de textos, tradução, sumarização, extração de entidades.

IA generativa e LLMs

• IA generativa: cria conteúdo novo (texto, imagem, código, áudio) a partir de padrões aprendidos.
• LLM (Large Language Model): modelo de linguagem de grande escala, em geral baseado na arquitetura Transformer, pré-treinado em enormes volumes de texto para prever o próximo token; responde a instruções (prompts).
• Limitações: alucinação (resposta plausível, mas falsa), viés herdado dos dados, conhecimento limitado à data de corte, sensibilidade ao prompt, risco de vazar dados inseridos.
• RAG (geração aumentada por recuperação): busca documentos relevantes e os fornece ao modelo para fundamentar a resposta — reduz alucinação.

Governança de dados

• Conceito: exercício de autoridade, controle e tomada de decisão compartilhada (planejamento, monitoramento e execução) sobre a gestão dos ativos de dados (DAMA-DMBOK). Define quem decide o quê, políticas, padrões e responsabilidades.
• Governança x gestão: governança define e supervisiona (regras, papéis, prestação de contas); gestão executa (operar, integrar, armazenar, tratar a qualidade).

Tipos (modelos) de governança

Papéis e responsabilidades

Governança e ética na IA

Segurança da informação

Ameaça, vulnerabilidade e risco

• Ameaça: causa potencial de incidente (hacker, malware, incêndio, erro humano).
• Vulnerabilidade: fraqueza que pode ser explorada (sistema sem atualização, senha fraca).
• Risco: probabilidade de uma ameaça explorar uma vulnerabilidade × impacto.
• Tratamento do risco: mitigar (reduzir), transferir (compartilhar, ex.: seguro), evitar (eliminar a atividade), aceitar.
• Ameaças comuns: phishing e engenharia social, ransomware, vírus/worm/cavalo de Troia/spyware, DoS/DDoS, injeção de SQL, ameaça interna (insider).

Classificação e controle de acesso

• Classificar a informação conforme sensibilidade/criticidade para aplicar o controle proporcional (ex.: pública, interna, restrita, confidencial). O proprietário define a classificação.
• Na LAI (Lei 12.527/2011, art. 24), informação sigilosa por risco à sociedade/Estado: ultrassecreta 25 anos, secreta 15 anos, reservada 5 anos.
• Etapas do controle de acesso: identificação (quem diz ser) → autenticação (prova: algo que sabe, tem ou é; MFA combina fatores) → autorização (o que pode fazer) → auditoria/registro.
• Modelos: DAC (discricionário, dono concede), MAC (obrigatório, rótulos de classificação), RBAC (por papel/função), ABAC (por atributos e contexto).
• Princípios: menor privilégio, necessidade de conhecer (need to know), segregação de funções.

Anonimização, mascaramento e retenção

• Técnicas de anonimização: supressão (remover atributos), generalização (faixas, truncar CEP), perturbação/randomização (ruído), agregação, k-anonimato (cada registro indistinguível de pelo menos k−1 outros).
• Mascaramento estático: gera cópia mascarada (ex.: base de homologação/testes). Dinâmico: mascara em tempo de consulta conforme o perfil do usuário, sem alterar o dado original.
• Políticas de retenção: definir por quanto tempo cada tipo de dado é guardado, por quê (base legal) e como é descartado com segurança. Guardar "para sempre por precaução" fere a necessidade.
• LGPD art. 15: o tratamento termina quando a finalidade é alcançada (ou o dado deixa de ser necessário), finda o período de tratamento, a pedido do titular (revogação do consentimento) ou por determinação da ANPD. Art. 16: após o término, elimina-se — salvo conservação para obrigação legal/regulatória, estudo por órgão de pesquisa (anonimizado quando possível), transferência a terceiro nos termos da lei, ou uso exclusivo do controlador vedado o acesso por terceiro, desde que anonimizados.

Marco Civil da Internet (Lei 12.965/2014)

• Estabelece princípios, garantias, direitos e deveres para o uso da internet no Brasil.
• Princípios (art. 3º), entre outros: liberdade de expressão, proteção da privacidade, proteção dos dados pessoais, na forma da lei, neutralidade de rede, estabilidade e segurança da rede, responsabilização dos agentes.
• Direitos do usuário (art. 7º): inviolabilidade da intimidade e da vida privada; sigilo do fluxo de comunicações e das comunicações privadas armazenadas, salvo ordem judicial; não fornecimento de dados pessoais a terceiros salvo consentimento livre, expresso e informado ou hipóteses legais.
• Neutralidade de rede (art. 9º): tratamento isonômico de pacotes, sem distinção por conteúdo, origem, destino, serviço, terminal ou aplicação.

LGPD (Lei 13.709/2018)

Definições-chave (art. 5º)

Agentes de tratamento e encarregado

Princípios (art. 6º) — boa-fé +10

Bases legais para dados pessoais (art. 7º)

1. Consentimento do titular;
2. Cumprimento de obrigação legal ou regulatória pelo controlador;
3. Pela administração pública, para execução de políticas públicas previstas em leis/regulamentos ou contratos/convênios;
4. Estudos por órgão de pesquisa (anonimização sempre que possível);
5. Execução de contrato ou procedimentos preliminares, a pedido do titular;
6. Exercício regular de direitos em processo judicial, administrativo ou arbitral;
7. Proteção da vida ou da incolumidade física do titular ou de terceiro;
8. Tutela da saúde, exclusivamente por profissionais de saúde, serviços de saúde ou autoridade sanitária;
9. Legítimo interesse do controlador ou de terceiro;
10. Proteção do crédito.

Direitos do titular (art. 18) e decisões automatizadas

• Confirmação da existência de tratamento; acesso; correção de dados incompletos, inexatos ou desatualizados; anonimização, bloqueio ou eliminação de dados desnecessários, excessivos ou tratados em desconformidade; portabilidade; eliminação dos dados tratados com consentimento; informação sobre com quem os dados foram compartilhados; informação sobre a possibilidade de não consentir e suas consequências; revogação do consentimento.
• Art. 20: revisão de decisões tomadas unicamente com base em tratamento automatizado.

Tratamento pelo Poder Público (arts. 23 e seguintes)

• O poder público costuma se apoiar em obrigação legal e execução de políticas públicas — não depende de consentimento para exercer suas competências.
• Dados devem ser mantidos em formato interoperável e estruturado para uso compartilhado, visando à execução de políticas públicas e à prestação de serviços.
• Sanções aplicáveis a entidades públicas (art. 52, §3º) incluem advertência, publicização, bloqueio, eliminação e suspensões — as multas não constam desse rol.

Segurança e incidentes

• Art. 46: agentes de tratamento devem adotar medidas de segurança, técnicas e administrativas aptas a proteger os dados de acessos não autorizados e de situações acidentais ou ilícitas de destruição, perda, alteração, comunicação ou difusão (privacy by design: desde a concepção).
• Art. 48: o controlador deve comunicar à ANPD e ao titular a ocorrência de incidente de segurança que possa acarretar risco ou dano relevante. O Regulamento de Comunicação de Incidentes da ANPD (Resolução CD/ANPD nº 15/2024) fixou o prazo de 3 dias úteis.
• RIPD (Relatório de Impacto à Proteção de Dados Pessoais): documentação do controlador sobre processos de tratamento que podem gerar riscos, com medidas de mitigação; pode ser exigido pela ANPD.
• Multa simples: até 2% do faturamento, limitada a R$ 50 milhões por infração (para entes privados).

Teste rápido