Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Preparação de Dados para Modelos de IA

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Preparação de dados para modelos de IA é o conjunto de etapas que converte dados brutos em dados prontos para treinar ou alimentar um modelo, da aquisição até tokens e embeddings.

Um modelo de linguagem depende inteiramente dos dados: sem eles não tem capacidade nenhuma, e com dados ruins aprende errado. Duplicados, erros, inconsistências e conteúdo irrelevante levam a um treinamento inadequado e reaparecem nas respostas. Versões iniciais de alguns LLMs, treinadas com conteúdo preconceituoso, reproduziram esse conteúdo, um caso clássico de viés nascido nos dados. Por isso a escolha e o tratamento da base são a etapa mais crítica: descobrir no fim que a base foi mal escolhida invalida tudo o que foi feito a partir dali.

Há dois papéis distintos. Quem desenvolve o modelo precisa de grandes conjuntos de dados para o treinamento; quem usa o modelo fornece dados auxiliares do próprio cenário, seja para um Fine-tuning, seja como contexto externo consultado na hora da resposta. Nos dois casos a lógica de preparo é a mesma, e a Qualidade de Dados precisa ser observada de ponta a ponta, não numa fase isolada.

Aquisição: o objetivo do modelo decide quais dados buscar

O primeiro passo é definir o objetivo do modelo, porque ele determina o tipo de dado necessário. Um modelo voltado a questões jurídicas precisa de material jurídico; um modelo que resume artigos científicos precisa desses artigos. O recorte é o do problema, não o da empresa inteira. Reduzir o escopo costuma ajudar: num modelo de classificação de atos normativos com 15 tipos possíveis, o escopo foi reduzido aos 4 tipos de interesse, e um deles sozinho concentrava cerca de 90% da informação.

Dados estruturados têm formato fixo e são fáceis de analisar: planilhas, CSV, registros SQL, leituras de sensores. Não estruturados não têm estrutura predefinida: texto livre, imagem, áudio, vídeo, e documentos escaneados que ainda precisam ser indexados. A coleta usa web scraping, APIs ou acesso direto a bancos de dados. A base também precisa respeitar a legislação da região onde o produto será usado.

Exploração: validar formato, integridade e consistência

A exploração verifica se os registros seguem o formato esperado, testa a integridade (duplicidade, valores ausentes) com scripts em vez de inspeção manual e confere a consistência entre fontes, já que informação falsa contamina o resultado. Histogramas e gráficos de densidade mostram se as variáveis cobrem cenários diversos. É também onde se identificam padrões, como sazonalidade de vendas ou correlação entre publicidade e vendas.

Limpeza: deduplicar, corrigir e normalizar

A limpeza remove duplicados e registros errados, corrige entradas e normaliza valores. Em dados estruturados, a deduplicação pode começar com um agrupamento por chave primária em SQL (GROUP BY) para expor repetições; outros tipos de dado pedem outras técnicas. Ruído estrutural, como tags HTML e caracteres de escape, também sai aqui.

Texto extraído de PDF é um exemplo típico: o PDF corta parágrafos no meio, o texto bruto chega com quebras de linha excessivas e acentuação danificada, e é preciso reconstruir as frases pelo início em maiúscula e pelo ponto final. Num fine-tuning baseado em pares de pergunta e resposta, esse saneamento ajuda, mas pesa menos que a variedade de exemplos e o ajuste de hiperparâmetros.

Limpar antes de vetorizar

Depois que o dado vira vetor, perde-se a capacidade de agir sobre sua qualidade. Tratamento e anonimização pertencem à Limpeza de Dados Antes da Vetorização, não a instruções no prompt.

Transformação e integração: o formato que o modelo consome

A arquitetura do modelo não aceita o dado bruto. A transformação converte tudo para um formato consistente: tokenização, que divide o texto em tokens (nem todo token é uma palavra inteira, e há vários estilos de tokenizar, com bibliotecas como NLTK e spaCy), remoção de stop words quando fizer sentido e geração de Embeddings, vetores numéricos que representam o significado do texto. Entram ainda a agregação de dados de fontes diferentes e o enriquecimento com contexto adicional.

A última etapa é a integração, que une fontes distintas e exige bastante engenharia de dados. Integrar fontes sem filtros expõe dados pessoais e documentos sensíveis e cria vulnerabilidades para a solução.