Pipeline de RAG
Ir para notas que citam estaPipeline de RAG é a sequência prática que compõe uma solução de RAG: extração e chunking dos documentos, embeddings, indexação em banco vetorial, busca por similaridade e montagem do prompt.
A RAG como ideia é simples: dar ao modelo um contexto externo antes de ele responder. O pipeline existe porque esse contexto não pode ser o documento inteiro. Anexar um livro de 500 páginas ao prompt estoura o limite de contexto, encarece a chamada e aumenta a chance de alucinação. A solução é preparar o conteúdo uma vez, guardá-lo em pedaços pesquisáveis e, a cada pergunta, entregar ao modelo só os trechos que interessam.
O nome engana um pouco: a sigla cobre recuperação, aumento e geração, mas deixa de fora a etapa que vem antes de tudo, a preparação dos dados. Na prática, é nela que se decide boa parte da qualidade da resposta.
As três etapas: indexação, retrieval e generation
Indexação (pré-retrieve). Os documentos são convertidos para texto, em geral Markdown, e divididos por Chunking. Cada pedaço passa por um modelo de embedding que o transforma em vetor, e o vetor é gravado no Banco Vetorial junto com o texto original do chunk: o vetor sozinho serve para localizar, mas não para montar a resposta. Conteúdos com imagem pedem um passo extra: extrair a imagem do documento, gerar uma descrição com um modelo de visão e vetorizar essa descrição, mantendo a correlação com o texto ao redor.
Retrieval. A pergunta do usuário é vetorizada com o mesmo modelo de embedding usado na indexação e comparada aos vetores armazenados por busca por similaridade, com um limiar mínimo e um limite de resultados (top-k). Uma etapa opcional de reranking, feita por um modelo específico, pode reordenar os trechos recuperados antes de seguir adiante.
Generation. O modelo de linguagem recebe o prompt do usuário somado ao contexto recuperado e escreve a resposta final.
Um pipeline costuma usar vários modelos
Uma implementação completa raramente usa um modelo só. Um arranjo típico tem até quatro papéis:
- um modelo pequeno com suporte a chamada de ferramentas, que lê o prompt e decide o processo: se é caso de usar ferramenta, que tipo de busca fazer, se é preciso acionar outro modelo;
- um modelo de visão, quando há imagens a descrever;
- o modelo de embedding, chamado duas vezes (para indexar o conteúdo e para vetorizar a pergunta);
- o modelo gerador da resposta.
A etapa de recuperação pode ser montada inteira com bibliotecas gratuitas. A chave de um provedor pago só é necessária, quando é, na geração em linguagem natural.
Decisões de implementação que pesam no resultado
- Persistência da base. Um banco vetorial em memória perde tudo quando a aplicação reinicia e obriga a vetorizar de novo, o que custa processamento. Numa implementação local, migrar de um banco em memória para o Postgres com extensão vetorial trouxe ganho expressivo de desempenho e também de qualidade do contexto devolvido.
- Log das consultas. Registrar o contexto recuperado, o score e a resposta final de cada pergunta é o que permite diagnosticar onde a resposta falhou.
- Onde está o erro. Resposta ruim nem sempre é culpa da recuperação. Com o contexto certo em mãos, um modelo de poucos bilhões de parâmetros ainda pode se perder no volume de texto recebido, limite típico da execução local.
- Metadados nos chunks. Guardar a origem do trecho (documento, artigo, linha) junto ao vetor torna a resposta rastreável.
Quando chega um conjunto novo de dados, ele precisa ser vetorizado e incluído na base existente. Se ele atualiza ou se sobrepõe a conteúdo já indexado, é preciso decidir qual versão vale. Isso é gestão do conhecimento anterior ao RAG, e nenhuma camada de automação resolve sozinha.