Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Qualidade de Dados

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Qualidade de dados é a propriedade observada de ponta a ponta num pipeline, medida por acurácia, abrangência, consistência, pontualidade, conformidade e unicidade.

Ela não é uma fase estanque, em que se para o fluxo para tratar qualidade e depois se deixa tudo rodar: é um elemento estruturante. Algumas etapas concentram mais checagens do que outras, mas todas acompanham a qualidade, da ingestão ao consumo. Em soluções de IA generativa a exigência cresce, porque o dado vetorizado deixa de ser corrigível, o que dá peso à Limpeza de Dados Antes da Vetorização dentro da Preparação de Dados para Modelos de IA.

Acurácia e abrangência

A acurácia mede a proximidade entre o dado e o conceito de negócio que ele representa. Falta acurácia quando um valor sai do range esperado, como uma idade de 500 anos, ou quando um conjunto tratado como clientes carrega registros que são outra coisa. É um dos problemas mais comuns.

A abrangência mede se o escopo está completo. Um relatório mensal de faturamento com dados de 9 de 10 unidades de negócio distorce a decisão, sobretudo se a unidade ausente for a mais significativa. Controlá-la exige monitorar as fontes e saber se todas chegaram. Mais grave é a falha na produção do dado, como sensores de IoT que pararam num período: se a perda não é recuperável, ela precisa estar documentada e exposta para quem decide. Já o mascaramento proposital de dados sensíveis, previsto no ciclo de vida para atender à LGPD, não é perda de abrangência. O problema é o dado que deveria existir e nem chegou.

Consistência de conceito, catálogo e guardião

Consistência é o mesmo dado ser tratado de forma uniforme em vários sistemas e pontos do pipeline. Não se trata da integridade referencial de banco de dados, e sim de consistência de conceito. Um caso típico: duas unidades de negócio definem cliente de formas diferentes, uma como quem operou nos últimos cinco anos, outra como qualquer cadastro. Com o mesmo termo nos relatórios, as interpretações se misturam e a reunião vira uma discussão sobre o que é cliente.

A solução passa por governança de dados em dois aspectos. O data discovery garante que se saiba que o dado existe; o data cataloguing o coloca num glossário ou catálogo pesquisável, que responde que dado existe e o que ele representa, como cliente cadastrado versus cliente ativo ou a forma de cálculo da margem de lucro. Cada conceito precisa ainda de um guardião, o responsável por garantir que a definição no catálogo está correta.

Pontualidade, conformidade e unicidade

Pontualidade é o dado chegar dentro da janela de tempo esperada: um dado correto e atrasado ainda leva a decisão errada e causa prejuízo. Conformidade é a adequação a normas internas ou legais, em geral de segurança e privacidade; dado que identifica pessoas precisa estar protegido. Unicidade é a ausência de duplicidade, que pode quebrar a integridade referencial ou, sem erro visível, distorcer os valores usados na decisão.

Duas candidatas a sétima dimensão cabem nas seis. A padronização (abreviação, idioma, formatação) é conformidade quando normativa e consistência quando não é. O volume entra em abrangência, que tem duas leituras: a estatística, uma amostra representativa de cada parte da realidade, relevante em machine learning; e a total, ter todos os dados que deveriam chegar, exigida mesmo de quem só reporta ou vende dados.

Onde a qualidade pesa em cada tipo de pipeline

Em engenharia de dados, a passagem da camada bronze para a prata na Arquitetura Medalhão concentra as checagens. Em pipelines de NLP e machine learning, a etapa de limpeza é o melhor ponto para aplicar as seis dimensões; perto do treinamento e teste, o foco passa à eficácia do modelo. Em GenAI com RAG, a qualidade precisa estar resolvida antes da vetorização: com um prompt simples, o modelo responde corretamente usando o dado errado.

Ferramentas apoiam esse trabalho: catálogos como AWS Glue, Google Cloud Data Catalog e Azure Purview, validação em Python com Pydantic e Great Expectations, e orquestração com Apache Airflow para formalizar uma camada de qualidade.