Preparação de Dados para Modelos de IA
Ir para notas que citam estaPreparação de dados para modelos de IA é o conjunto de etapas que converte dados brutos em dados prontos para treinar ou alimentar um modelo, da aquisição até tokens e embeddings.
Um modelo de linguagem depende inteiramente dos dados: sem eles não tem capacidade nenhuma, e com dados ruins aprende errado. Duplicados, erros, inconsistências e conteúdo irrelevante levam a um treinamento inadequado e reaparecem nas respostas. Versões iniciais de alguns LLMs, treinadas com conteúdo preconceituoso, reproduziram esse conteúdo, um caso clássico de viés nascido nos dados. Por isso a escolha e o tratamento da base são a etapa mais crítica: descobrir no fim que a base foi mal escolhida invalida tudo o que foi feito a partir dali.
Há dois papéis distintos. Quem desenvolve o modelo precisa de grandes conjuntos de dados para o treinamento; quem usa o modelo fornece dados auxiliares do próprio cenário, seja para um Fine-tuning, seja como contexto externo consultado na hora da resposta. Nos dois casos a lógica de preparo é a mesma, e a Qualidade de Dados precisa ser observada de ponta a ponta, não numa fase isolada.
Aquisição: o objetivo do modelo decide quais dados buscar
O primeiro passo é definir o objetivo do modelo, porque ele determina o tipo de dado necessário. Um modelo voltado a questões jurídicas precisa de material jurídico; um modelo que resume artigos científicos precisa desses artigos. O recorte é o do problema, não o da empresa inteira. Reduzir o escopo costuma ajudar: num modelo de classificação de atos normativos com 15 tipos possíveis, o escopo foi reduzido aos 4 tipos de interesse, e um deles sozinho concentrava cerca de 90% da informação.
Dados estruturados têm formato fixo e são fáceis de analisar: planilhas, CSV, registros SQL, leituras de sensores. Não estruturados não têm estrutura predefinida: texto livre, imagem, áudio, vídeo, e documentos escaneados que ainda precisam ser indexados. A coleta usa web scraping, APIs ou acesso direto a bancos de dados. A base também precisa respeitar a legislação da região onde o produto será usado.
Exploração: validar formato, integridade e consistência
A exploração verifica se os registros seguem o formato esperado, testa a integridade (duplicidade, valores ausentes) com scripts em vez de inspeção manual e confere a consistência entre fontes, já que informação falsa contamina o resultado. Histogramas e gráficos de densidade mostram se as variáveis cobrem cenários diversos. É também onde se identificam padrões, como sazonalidade de vendas ou correlação entre publicidade e vendas.
Limpeza: deduplicar, corrigir e normalizar
A limpeza remove duplicados e registros errados, corrige entradas e normaliza valores. Em dados estruturados, a deduplicação pode começar com um agrupamento por chave primária em SQL (GROUP BY) para expor repetições; outros tipos de dado pedem outras técnicas. Ruído estrutural, como tags HTML e caracteres de escape, também sai aqui.
Texto extraído de PDF é um exemplo típico: o PDF corta parágrafos no meio, o texto bruto chega com quebras de linha excessivas e acentuação danificada, e é preciso reconstruir as frases pelo início em maiúscula e pelo ponto final. Num fine-tuning baseado em pares de pergunta e resposta, esse saneamento ajuda, mas pesa menos que a variedade de exemplos e o ajuste de hiperparâmetros.
Depois que o dado vira vetor, perde-se a capacidade de agir sobre sua qualidade. Tratamento e anonimização pertencem à Limpeza de Dados Antes da Vetorização, não a instruções no prompt.
Transformação e integração: o formato que o modelo consome
A arquitetura do modelo não aceita o dado bruto. A transformação converte tudo para um formato consistente: tokenização, que divide o texto em tokens (nem todo token é uma palavra inteira, e há vários estilos de tokenizar, com bibliotecas como NLTK e spaCy), remoção de stop words quando fizer sentido e geração de Embeddings, vetores numéricos que representam o significado do texto. Entram ainda a agregação de dados de fontes diferentes e o enriquecimento com contexto adicional.
A última etapa é a integração, que une fontes distintas e exige bastante engenharia de dados. Integrar fontes sem filtros expõe dados pessoais e documentos sensíveis e cria vulnerabilidades para a solução.