Retrieval-Augmented Generation
Ir para notas que citam estaRetrieval-Augmented Generation, ou RAG, é a técnica de buscar trechos relevantes em uma base de conhecimento própria e injetá-los no prompt antes de o modelo responder, permitindo que ele fale sobre documentos que nunca viu no treinamento.
Um modelo de linguagem só conhece o que estava disponível publicamente até a data de corte do treinamento — perguntado sobre um evento recente, ele avisa que seu conhecimento vai até certo ano ou, pior, inventa uma resposta plausível. Documentos internos de uma empresa nunca estiveram nesse conjunto e nunca estarão. RAG contorna isso sem treinar nada: em vez de ensinar o documento ao modelo, entrega-se o pedaço certo do documento junto com a pergunta.
As duas fases do pipeline
Ingestão acontece uma vez por documento. O texto é extraído do arquivo, dividido em pedaços, cada pedaço é convertido em vetor e esses vetores são gravados numa coleção do banco vetorial. Cada etapa tem armadilha própria: a extração pode perder conteúdo em documentos com formatação complexa, o Chunking pode cortar uma ideia ao meio, e os Embeddings precisam vir sempre do mesmo modelo.
Consulta acontece a cada pergunta. A pergunta do usuário é vetorizada com o mesmo modelo de embedding usado na ingestão, o Banco Vetorial devolve os trechos mais próximos por similaridade, e esses trechos entram no prompt como contexto antes de o modelo gerar a resposta. O modelo não lê o banco: ele lê o texto que veio junto dos vetores recuperados.
A coleção é criada com um modelo de embedding e uma métrica de distância definidos. Trocar o modelo na hora da consulta gera erro ou, pior, devolve resultados sem sentido, porque os dois espaços vetoriais não são comparáveis. O modelo usado para indexar tem que ser exatamente o mesmo usado para perguntar.
O parâmetro de limite e seu trade-off
A ferramenta de busca recebe um limite de quantos trechos devolver. É um número pequeno e decisivo. Poucos trechos podem deixar de fora exatamente o pedaço que responde à pergunta; muitos aumentam o contexto, mas também o risco de o modelo se perder entre informações concorrentes e o Custo de Tokens de cada execução. Em um documento curto, dois trechos bastam — e um limite alto acaba equivalendo a mandar o documento inteiro, desfazendo a economia que justificava usar RAG. Colar uma documentação de mais de cem páginas no prompt a cada pergunta é caríssimo e ainda assim funciona mal; uma consulta bem ajustada respondeu a uma pergunta sobre um documento interno com pouco mais de mil tokens.
Quando o agente tem mais de uma ferramenta disponível, a descrição associada à busca vetorial deixa de ser detalhe: é ela que ensina ao modelo em que situações aquela base deve ser consultada. Essa decisão sobre quando buscar é o que caracteriza o RAG Agêntico.
Quando o RAG não responde
RAG reduz alucinação porque obriga a resposta a se apoiar em texto recuperado, mas não elimina o erro. Falhas recorrentes e suas causas:
- Trecho errado recuperado. A busca é por proximidade semântica, não por verdade. Uma pergunta ambígua atrai trechos parecidos com ela, não necessariamente os que a respondem.
- Documento mal dividido. Uma ideia partida entre dois pedaços fica irrecuperável numa única busca — é por isso que a sobreposição entre pedaços existe.
- Conteúdo duplicado na base. Indexar o mesmo documento duas vezes faz a busca devolver cópias do mesmo trecho em vez de trechos complementares, e aumentar o limite só gasta mais sem resolver a causa.
- Dado de origem ruim. Uma base alimentada com documentos de duas filiais diferentes, sem estrutura consistente, devolve o trecho correto e ainda assim não produz resposta utilizável. Trocar de modelo e aumentar o limite não corrigem isso.
Esse último caso é o mais importante e o menos intuitivo. Quando um fluxo de RAG falha, o instinto é culpar o modelo ou o agente; muitas vezes o defeito está na qualidade e na organização dos dados de origem.