Limpeza de Dados Antes da Vetorização
Ir para notas que citam estaLimpeza de dados antes da vetorização é tratar, anonimizar e validar o dado antes de ele entrar no banco vetorial, sem delegar essa responsabilidade ao prompt.
Numa solução de RAG, o dado corporativo é convertido em Embeddings e gravado num vector store. A partir desse ponto não há mais como atuar sobre ele para influenciar sua qualidade: o que sobrar de problema fica a cargo do teste de prompt, que já não é análise de dados. Por isso a etapa de limpeza, muitas vezes fragilizada em projetos de GenAI, precisa entregar o dado exatamente como ele deve existir no vector store.
Por que anonimizar na limpeza e não no prompt
Quando uma exigência legal, como a LGPD, proíbe exibir nomes de pessoas, o caminho arriscado é vetorizar o dado aberto e pedir ao prompt que não mostre nomes. Esse controle pode ser contornado, por exemplo por injeção de prompt, que faz o modelo furar a instrução recebida. O caminho seguro é anonimizar na limpeza, para que o dado já seja vetorizado anonimizado e o prompt não precise cuidar disso.
A divisão de responsabilidades fica assim: o prompt cuida de apresentação, idioma da resposta, manutenção de contexto e de responder bem à mesma pergunta feita de dez formas diferentes. Se a resposta está correta mas exibe um dado que não deveria, a falha não é do prompt, é da política de limpeza que vem antes dele.
Sistemas de origem expostos pela solução de GenAI
Um protótipo de chatbot montado em poucos dias, sem etapa de limpeza, mostrou o risco logo no primeiro teste de mesa. Ao pedir um resumo de um dataset, o modelo exibiu o nome de uma máquina interna. O pipeline de GenAI não tinha defeito: o nome estava na descrição do dataset, no sistema de origem.
O argumento de negócio tornou o caso crítico. Uma solução de GenAI tende a atender um público maior do que o do sistema de origem e passa a funcionar como um portão de abertura dos dados. Preocupações que o sistema de origem nunca teve se tornam obrigatórias para a solução, e a limpeza vira a etapa crucial. Depois do primeiro achado, vários outros tratamentos se mostraram necessários no mesmo dado.
Instruir o modelo a esconder um dado sensível não substitui removê-lo. Se o dado está no vector store, ele pode aparecer na resposta.
Quanto remover e como verificar
Questões legais têm tolerância zero: nenhum nome pode passar, qualquer que seja o impacto no modelo. Para problemas que afetam só o resultado, remover demais pode desequilibrar a base e introduzir viés, e a decisão pesa um impacto contra o outro. Um dashboard de qualidade que mostre, por exemplo, 30% dos registros descartados numa ingestão aponta para uma correção no sistema de origem. O que nunca pode acontecer é um problema de qualidade atravessar o pipeline até o consumo.
Como o modelo não está sendo treinado, apenas aplicado, a verificação costuma ser indireta: disparar requisições que retornariam nomes e validar se a anonimização se manteve. A própria GenAI também pode apoiar a limpeza, interpretando como texto o conteúdo de PDFs lidos por OCR em vez de tratá-los como imagem.