Retrieval-Augmented Generation
Ir para notas que citam estaRetrieval-Augmented Generation (RAG) é a técnica que busca trechos relevantes numa base externa e os entrega como contexto ao modelo antes da geração, sem alterar seus pesos.
A técnica existe porque um modelo de linguagem só conhece o que estava nos dados de treinamento. Esses dados são fixos, globais e têm data de corte: um modelo treinado com dados de 2022 não reflete a documentação que mudou em 2023, e um modelo com corte em torno de 2021 não sabe nada do que veio depois. Pior, diante da falta de informação o modelo tende a responder mesmo assim, o que alimenta a Alucinação. A RAG ataca os dois problemas ao levar ao modelo, no momento da pergunta, a informação confiável que ele não tem.
Uma pergunta feita direto a um modelo generalista recebe uma resposta genérica: sem contexto, o preço de um livro sai como média de mercado; alimentado com a tabela de uma livraria, o modelo responde o preço real daquela loja. Com RAG, o próprio acervo do usuário vira a base da resposta.
As três etapas que dão nome à técnica
A imagem mais útil é a de um jogo de perguntas e respostas em que, além do próprio conhecimento, o participante tem um livro de consulta à disposição.
- Recuperação (Retrieval): achar no livro a passagem relevante para a pergunta. No sistema, é a busca por semelhança nos trechos guardados num Banco Vetorial.
- Aumento (Augmentation): ler o que foi encontrado, interpretar e complementar com a própria compreensão, montando o contexto que acompanha a pergunta.
- Geração (Generation): formular uma resposta completa, que não só devolve o trecho encontrado, mas junta as peças e responde de fato.
Antes disso, os documentos de origem são divididos em pedaços, vetorizados e armazenados. Trechos sobre assuntos parecidos podem ser recuperados juntos e combinados, o que tende a completar a resposta. O passo a passo técnico está em Pipeline de RAG, e as variações da técnica em Tipos de RAG.
RAG, fine-tuning e engenharia de prompt
As três técnicas são as formas clássicas de contextualizar um modelo. A Engenharia de Prompt fornece instruções e exemplos de interação para o modelo seguir um padrão. O Fine-tuning retreina o modelo com dados específicos e altera seus pesos, com controle granular e custo alto. A RAG não mexe no modelo: fornece conteúdo para ele interpretar, com um equilíbrio entre controle e adaptabilidade e custo menor.
O resultado é um modelo aumentado, não treinado. Os dados adicionados ficam na aplicação ou instância criada, como um assistente personalizado, e não passam a valer para outros usuários do modelo base.
As técnicas se combinam. Um assistente médico pode ter passado por fine-tuning numa base ampla de dados médicos tratados e usar RAG só para as informações do paciente atendido. Na direção inversa, quando o mesmo conteúdo é injetado sempre do mesmo jeito, o gasto repetido de tokens de contexto pode fazer o fine-tuning compensar mais.
A escolha entre RAG, fine-tuning ou simplesmente usar a janela de contexto do modelo depende do caso. A RAG brilha com informação específica, atualizada ou sigilosa de uma organização.
Limites e cuidados na prática
- A resposta é tão boa quanto a base. Documentação bruta ou desatualizada gera recuperação ruim; um PDF sem limpeza leva numeração de página e cabeçalhos para os trechos.
- Curadoria depende do contexto. Legislação ou prática médica de outro país pode não valer no cenário de uso.
- Informação repetida confunde. Várias versões da documentação de um framework, sem indicar a atual, produzem respostas misturadas.
- Quebra de trechos perde contexto. Informação dividida entre dois pedaços pode não ser recuperada.
- Precisão numérica é fraca. Calcular uma média a partir de trechos brutos costuma falhar; chamar uma função é mais assertivo.
- Controle de acesso por prompt é frágil. Restringir o que cada perfil consulta só pelo prompt de sistema é arriscado; bases separadas são mais seguras.
- Contexto custa tokens. Mais trechos injetados significam mais gasto por chamada, o que torna o cache um aliado.
No uso mais comum, a RAG serve para responder perguntas; o passo seguinte da evolução é deixar a IA agir com base no que recupera.