Pular para o conteúdo
LabS Atlas
Agentic AI
Entrar

Duplicação de Embeddings e Chunks

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Duplicação de embeddings e chunks é indexar o mesmo conteúdo mais de uma vez no banco vetorial, fazendo a busca devolver cópias do mesmo trecho em vez de trechos diferentes.

É um erro comum de ingestão num fluxo de RAG. Cada vez que um documento é processado, os pedaços gerados pelo chunking viram embeddings e entram no banco vetorial. Se o fluxo não controla a identidade do documento, reprocessar o mesmo arquivo, ou extrair o mesmo texto por dois caminhos, insere tudo de novo. O banco não reclama; ele só passa a ter vetores praticamente idênticos, e a resposta do agente piora sem nenhum erro visível.

Como a duplicação entra na base

Há duas origens típicas. A primeira é a própria configuração da extração. Um nó de OCR pode devolver o texto do documento de duas formas ao mesmo tempo: separado por página e inteiro. Se o carregador de documentos está na opção padrão de carregar todos os dados recebidos, ele indexa as duas versões, e cada trecho do PDF entra duas vezes. A correção é trocar para a opção de carregar dados específicos e apontar exatamente qual campo extraído deve ser dividido.

A segunda origem é o ciclo de testes. Quem ajusta um fluxo costuma submeter o mesmo documento várias vezes, e cada execução acrescenta mais uma leva de vetores à coleção.

Dividir por página traz ainda um efeito colateral: com chunks de cerca de 1000 caracteres e 200 de sobreposição, a última página, mais curta, gera um pedaço bem menor que os demais.

O sintoma e por que aumentar o limite não resolve

A busca devolve um número fixo de trechos, os mais próximos pela Similaridade de Cosseno. Com um limite de quatro e o conteúdo duplicado, as cópias empatam no topo e o agente recebe quatro vezes a mesma informação. Numa base com documentos sobre duas filiais, a pergunta sobre em quais estados a empresa está só é respondida depois de removida a duplicação: aí os trechos das duas filiais passam a caber no contexto.

Aumentar o número de trechos retornados até que apareça algo diferente funciona em tese, mas exigiria elevar bastante o limite, mandando mais texto ao modelo a cada pergunta e aumentando o custo sem tratar a causa. A saída certa é corrigir a ingestão.

Diagnóstico pelos logs

Os logs de execução do agente mostram o system prompt, a pergunta, o embedding dela e o retorno da ferramenta de busca. Trechos repetidos no retorno denunciam duplicação. Selecionar a coleção errada produz outro sintoma: a busca não acha nada pertinente. Os dois erros podem aparecer juntos.

Formas de evitar ou corrigir

  • Limpar a coleção antes de reindexar. O Qdrant oferece uma opção de limpar o namespace, que destrói e recria a coleção a cada inserção. É o recurso mais prático durante testes repetidos.
  • Definir bem o identificador de cada registro. Com ID aleatório, um novo upload do mesmo arquivo é acrescentado sem substituir o anterior, e duplica se o conteúdo for igual. Usando o nome do arquivo como chave, o novo upload substitui o antigo. O custo dessa escolha: dois arquivos diferentes com o mesmo nome passam a se sobrescrever.
  • Controlar a duplicidade fora do banco. O próprio fluxo pode verificar se o documento já existe antes de inserir, delegando essa lógica a um nó de código.
  • Deduplicar por hash do conteúdo. Gera-se um hash do PDF e guarda-se no banco; a cada novo arquivo, o hash é comparado aos existentes e, se já houver, os embeddings não são gerados. É a solução automática, mas pressupõe alguma programação, em Python por exemplo.

A limpeza manual serve bem a quem monta fluxos visuais e testa com poucos documentos. O controle por hash ou por identificador se justifica quando a base recebe arquivos continuamente.