Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Cache-Augmented Generation

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Cache-Augmented Generation (CAG) é a abordagem que coloca os documentos de referência inteiros no contexto do modelo, em vez de recuperar só os trechos relevantes sob demanda.

O nome vem da ideia de manter o material "em cache" no prompt: a cada chamada, o conteúdo completo das fontes acompanha a pergunta, sem busca semântica, sem fatiamento e sem banco vetorial. A abordagem existe para os casos em que o modelo precisa considerar um documento conhecido e definido de antemão por completo, e não apenas pedaços dele. Ela divide com a Retrieval-Augmented Generation o mesmo objetivo, fundamentar a resposta em conhecimento que não está nos pesos do modelo, mas resolve o problema pelo caminho oposto: em vez de selecionar, envia tudo.

CAG ou RAG: o que muda na prática

No RAG, a pergunta vira uma consulta, o sistema busca por similaridade numa base vetorial e só os trechos mais parecidos entram no prompt. No CAG não há seleção: o documento inteiro vai como uma única mensagem de contexto. Por isso, colocar o conteúdo de documentos direto no prompt não equivale a ter um RAG implementado, confusão comum em protótipos. As duas técnicas também se combinam: recupera-se o material relevante com RAG e mantém-se em cache um resumo do que foi encontrado.

A escolha segue o tipo de base. RAG é a opção para bases grandes ou que mudam com frequência, típicas de busca de conhecimento em produção, porque basta atualizar o índice. CAG é a opção quando o conteúdo é específico, estável e precisa ser lido na íntegra, como um conjunto fechado de regras ou um manual curto.

Um caso: auditor de atendimentos com as regras no prompt

Um agente que audita atendimentos ao cliente no papel de juiz mostra o CAG em funcionamento. As regras de negócio (erros críticos, graves e médios, manuais de postura e qualidade, políticas de reembolso e cancelamento) ficam em quatro documentos, inseridos inteiros no prompt a cada avaliação. A escolha foi pragmática: a extensão vetorial do Postgres não subiu no container Docker, e com poucos documentos o prompt completo bastou para uma prova de conceito. Migrar para RAG fica como evolução natural quando a base de regras crescer.

Custo de contexto e escolha do modelo

O trade-off do CAG é o volume. Com quatro documentos, tudo cabe com folga; com quinze documentos de regras, cada chamada passa a carregar todos eles e ocupa boa parte da janela de contexto, enquanto um RAG levaria só os trechos pertinentes. Isso pesa em custo de tokens, em tempo de processamento e em qualidade: acumular conteúdo demais degrada a resposta, efeito conhecido como Envenenamento de Contexto. Um exemplo extremo é enviar como contexto a documentação completa de uma ferramenta, com 589 páginas misturando explicações de interface e de código: o modelo se confunde sobre o que importa e o resultado piora em vez de melhorar.

Daí duas saídas para especializações maiores. Uma é usar um modelo com janela de contexto muito grande, como o Gemini, na casa de um milhão de tokens, capaz de absorver muitos documentos. A outra é limitar o que entra no prompt, o que viabiliza um modelo menor e mais barato, desde que o contexto necessário caiba na janela dele.

Regra prática

CAG compensa quando o material é pequeno, estável e precisa ser lido por inteiro. Quando a base cresce ou muda com frequência, a recuperação seletiva do RAG tende a sair mais barata e mais precisa.