Duplicação de Embeddings e Chunks
Ir para notas que citam estaDuplicação de embeddings e chunks é indexar o mesmo conteúdo mais de uma vez no banco vetorial, fazendo a busca devolver cópias do mesmo trecho em vez de trechos diferentes.
É um erro comum de ingestão num fluxo de RAG. Cada vez que um documento é processado, os pedaços gerados pelo chunking viram embeddings e entram no banco vetorial. Se o fluxo não controla a identidade do documento, reprocessar o mesmo arquivo, ou extrair o mesmo texto por dois caminhos, insere tudo de novo. O banco não reclama; ele só passa a ter vetores praticamente idênticos, e a resposta do agente piora sem nenhum erro visível.
Como a duplicação entra na base
Há duas origens típicas. A primeira é a própria configuração da extração. Um nó de OCR pode devolver o texto do documento de duas formas ao mesmo tempo: separado por página e inteiro. Se o carregador de documentos está na opção padrão de carregar todos os dados recebidos, ele indexa as duas versões, e cada trecho do PDF entra duas vezes. A correção é trocar para a opção de carregar dados específicos e apontar exatamente qual campo extraído deve ser dividido.
A segunda origem é o ciclo de testes. Quem ajusta um fluxo costuma submeter o mesmo documento várias vezes, e cada execução acrescenta mais uma leva de vetores à coleção.
Dividir por página traz ainda um efeito colateral: com chunks de cerca de 1000 caracteres e 200 de sobreposição, a última página, mais curta, gera um pedaço bem menor que os demais.
O sintoma e por que aumentar o limite não resolve
A busca devolve um número fixo de trechos, os mais próximos pela Similaridade de Cosseno. Com um limite de quatro e o conteúdo duplicado, as cópias empatam no topo e o agente recebe quatro vezes a mesma informação. Numa base com documentos sobre duas filiais, a pergunta sobre em quais estados a empresa está só é respondida depois de removida a duplicação: aí os trechos das duas filiais passam a caber no contexto.
Aumentar o número de trechos retornados até que apareça algo diferente funciona em tese, mas exigiria elevar bastante o limite, mandando mais texto ao modelo a cada pergunta e aumentando o custo sem tratar a causa. A saída certa é corrigir a ingestão.
Os logs de execução do agente mostram o system prompt, a pergunta, o embedding dela e o retorno da ferramenta de busca. Trechos repetidos no retorno denunciam duplicação. Selecionar a coleção errada produz outro sintoma: a busca não acha nada pertinente. Os dois erros podem aparecer juntos.
Formas de evitar ou corrigir
- Limpar a coleção antes de reindexar. O Qdrant oferece uma opção de limpar o namespace, que destrói e recria a coleção a cada inserção. É o recurso mais prático durante testes repetidos.
- Definir bem o identificador de cada registro. Com ID aleatório, um novo upload do mesmo arquivo é acrescentado sem substituir o anterior, e duplica se o conteúdo for igual. Usando o nome do arquivo como chave, o novo upload substitui o antigo. O custo dessa escolha: dois arquivos diferentes com o mesmo nome passam a se sobrescrever.
- Controlar a duplicidade fora do banco. O próprio fluxo pode verificar se o documento já existe antes de inserir, delegando essa lógica a um nó de código.
- Deduplicar por hash do conteúdo. Gera-se um hash do PDF e guarda-se no banco; a cada novo arquivo, o hash é comparado aos existentes e, se já houver, os embeddings não são gerados. É a solução automática, mas pressupõe alguma programação, em Python por exemplo.
A limpeza manual serve bem a quem monta fluxos visuais e testa com poucos documentos. O controle por hash ou por identificador se justifica quando a base recebe arquivos continuamente.