Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Retrieval-Augmented Generation

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Retrieval-Augmented Generation (RAG) é a técnica que busca trechos relevantes numa base externa e os entrega como contexto ao modelo antes da geração, sem alterar seus pesos.

A técnica existe porque um modelo de linguagem só conhece o que estava nos dados de treinamento. Esses dados são fixos, globais e têm data de corte: um modelo treinado com dados de 2022 não reflete a documentação que mudou em 2023, e um modelo com corte em torno de 2021 não sabe nada do que veio depois. Pior, diante da falta de informação o modelo tende a responder mesmo assim, o que alimenta a Alucinação. A RAG ataca os dois problemas ao levar ao modelo, no momento da pergunta, a informação confiável que ele não tem.

Uma pergunta feita direto a um modelo generalista recebe uma resposta genérica: sem contexto, o preço de um livro sai como média de mercado; alimentado com a tabela de uma livraria, o modelo responde o preço real daquela loja. Com RAG, o próprio acervo do usuário vira a base da resposta.

As três etapas que dão nome à técnica

A imagem mais útil é a de um jogo de perguntas e respostas em que, além do próprio conhecimento, o participante tem um livro de consulta à disposição.

  • Recuperação (Retrieval): achar no livro a passagem relevante para a pergunta. No sistema, é a busca por semelhança nos trechos guardados num Banco Vetorial.
  • Aumento (Augmentation): ler o que foi encontrado, interpretar e complementar com a própria compreensão, montando o contexto que acompanha a pergunta.
  • Geração (Generation): formular uma resposta completa, que não só devolve o trecho encontrado, mas junta as peças e responde de fato.

Antes disso, os documentos de origem são divididos em pedaços, vetorizados e armazenados. Trechos sobre assuntos parecidos podem ser recuperados juntos e combinados, o que tende a completar a resposta. O passo a passo técnico está em Pipeline de RAG, e as variações da técnica em Tipos de RAG.

RAG, fine-tuning e engenharia de prompt

As três técnicas são as formas clássicas de contextualizar um modelo. A Engenharia de Prompt fornece instruções e exemplos de interação para o modelo seguir um padrão. O Fine-tuning retreina o modelo com dados específicos e altera seus pesos, com controle granular e custo alto. A RAG não mexe no modelo: fornece conteúdo para ele interpretar, com um equilíbrio entre controle e adaptabilidade e custo menor.

O resultado é um modelo aumentado, não treinado. Os dados adicionados ficam na aplicação ou instância criada, como um assistente personalizado, e não passam a valer para outros usuários do modelo base.

As técnicas se combinam. Um assistente médico pode ter passado por fine-tuning numa base ampla de dados médicos tratados e usar RAG só para as informações do paciente atendido. Na direção inversa, quando o mesmo conteúdo é injetado sempre do mesmo jeito, o gasto repetido de tokens de contexto pode fazer o fine-tuning compensar mais.

Não é bala de prata

A escolha entre RAG, fine-tuning ou simplesmente usar a janela de contexto do modelo depende do caso. A RAG brilha com informação específica, atualizada ou sigilosa de uma organização.

Limites e cuidados na prática

  • A resposta é tão boa quanto a base. Documentação bruta ou desatualizada gera recuperação ruim; um PDF sem limpeza leva numeração de página e cabeçalhos para os trechos.
  • Curadoria depende do contexto. Legislação ou prática médica de outro país pode não valer no cenário de uso.
  • Informação repetida confunde. Várias versões da documentação de um framework, sem indicar a atual, produzem respostas misturadas.
  • Quebra de trechos perde contexto. Informação dividida entre dois pedaços pode não ser recuperada.
  • Precisão numérica é fraca. Calcular uma média a partir de trechos brutos costuma falhar; chamar uma função é mais assertivo.
  • Controle de acesso por prompt é frágil. Restringir o que cada perfil consulta só pelo prompt de sistema é arriscado; bases separadas são mais seguras.
  • Contexto custa tokens. Mais trechos injetados significam mais gasto por chamada, o que torna o cache um aliado.

No uso mais comum, a RAG serve para responder perguntas; o passo seguinte da evolução é deixar a IA agir com base no que recupera.