Retrieval-Augmented Generation
Ir para notas que citam estaRetrieval-Augmented Generation (RAG) divide documentos em pedaços, gera embeddings, guarda-os num banco vetorial e recupera os mais relevantes como contexto para o LLM.
A técnica existe porque o modelo só conhece o que viu no treinamento e porque mandar um documento inteiro a cada pergunta é caro ou inviável. Com RAG, o sistema busca só os trechos que interessam àquela pergunta e os coloca no prompt. Em arquiteturas de agentes, o RAG costuma ocupar o fluxo de interpretação, que ingere e vetoriza o artefato de entrada, separado do fluxo de geração, como em Times de Agentes de Interpretação e Geração.
Ingestão: chunks, embeddings e banco vetorial
Um pipeline mínimo tem três passos. Primeiro, o documento é quebrado em pedaços de texto; num readme de duas páginas em PDF, foram usados pedaços de cerca de 500 caracteres com sobreposição de 100 entre pedaços vizinhos. Depois, cada pedaço vira um embedding, que não é um conjunto de palavras e sim um vetor numérico. Um modelo de embedding é pequeno e serve só para vetorizar: o do Ollama, rodando localmente, tinha cerca de 240 MB e processou o documento em torno de um segundo, e o da OpenAI seria uma alternativa direta. Por fim, os vetores vão para um banco vetorial, como ChromaDB ou FAISS.
Guardar os vetores num banco, em vez de dentro de um arquivo, tem duas vantagens: o arquivo original pode ser apagado sem perder o que foi processado, e o banco pode ser acoplado a outras partes do sistema sem refazer os embeddings a cada uso.
Na consulta, o mesmo texto da pergunta faz dois papéis: busca os trechos mais próximos no banco, que voltam convertidos em texto, e compõe o prompt final junto com esses trechos, num modelo do tipo use as informações recuperadas e responda à pergunta.
Tamanho do chunk e qualidade da recuperação
O tamanho do pedaço é um trade-off. Pedaços grandes perdem precisão semântica; pedaços pequenos dificultam conectar informações que estão espalhadas pelo texto. Cada caso de uso pede uma granularidade, e aumentar a janela do embedding não custa de forma linear: dobrar o tamanho pode multiplicar o consumo de recursos por bem mais que dois. Na prática, é comum manter a configuração padrão do embedding e aumentar a janela de contexto só nos modelos de chat. Depois da busca vetorial, um passo de rerank ajuda a escolher, entre os candidatos, o trecho ou arquivo mais relevante.
RAG dentro de assistentes de código
Assistentes de Código com IA aplicam a mesma técnica ao vetorizar o código do workspace e documentações externas. O Continue permite adicionar a documentação de uma linguagem ou biblioteca como contexto de busca, e o Aider responde sobre um arquivo depois que ele é adicionado ao chat. O usuário precisa agir como curador desse contexto: deixar a ferramenta olhar a base inteira pode reforçar os erros que a própria base repete, e apontar para a documentação oficial tende a ser mais confiável do que depender do que o modelo aprendeu em fóruns.
RAG versus agente que raciocina
O RAG só acrescenta informação ao contexto do modelo, sem raciocínio adicional sobre ela. Um agente do tipo ReAct recebe a informação e itera sobre ela, pensando a cada passo antes de decidir a próxima ação. Os dois se combinam: o RAG entrega o artefato e o agente raciocina sobre ele.