Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Pipeline de RAG

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Pipeline de RAG é a sequência prática que compõe uma solução de RAG: extração e chunking dos documentos, embeddings, indexação em banco vetorial, busca por similaridade e montagem do prompt.

A RAG como ideia é simples: dar ao modelo um contexto externo antes de ele responder. O pipeline existe porque esse contexto não pode ser o documento inteiro. Anexar um livro de 500 páginas ao prompt estoura o limite de contexto, encarece a chamada e aumenta a chance de alucinação. A solução é preparar o conteúdo uma vez, guardá-lo em pedaços pesquisáveis e, a cada pergunta, entregar ao modelo só os trechos que interessam.

O nome engana um pouco: a sigla cobre recuperação, aumento e geração, mas deixa de fora a etapa que vem antes de tudo, a preparação dos dados. Na prática, é nela que se decide boa parte da qualidade da resposta.

As três etapas: indexação, retrieval e generation

Indexação (pré-retrieve). Os documentos são convertidos para texto, em geral Markdown, e divididos por Chunking. Cada pedaço passa por um modelo de embedding que o transforma em vetor, e o vetor é gravado no Banco Vetorial junto com o texto original do chunk: o vetor sozinho serve para localizar, mas não para montar a resposta. Conteúdos com imagem pedem um passo extra: extrair a imagem do documento, gerar uma descrição com um modelo de visão e vetorizar essa descrição, mantendo a correlação com o texto ao redor.

Retrieval. A pergunta do usuário é vetorizada com o mesmo modelo de embedding usado na indexação e comparada aos vetores armazenados por busca por similaridade, com um limiar mínimo e um limite de resultados (top-k). Uma etapa opcional de reranking, feita por um modelo específico, pode reordenar os trechos recuperados antes de seguir adiante.

Generation. O modelo de linguagem recebe o prompt do usuário somado ao contexto recuperado e escreve a resposta final.

Um pipeline costuma usar vários modelos

Uma implementação completa raramente usa um modelo só. Um arranjo típico tem até quatro papéis:

  • um modelo pequeno com suporte a chamada de ferramentas, que lê o prompt e decide o processo: se é caso de usar ferramenta, que tipo de busca fazer, se é preciso acionar outro modelo;
  • um modelo de visão, quando há imagens a descrever;
  • o modelo de embedding, chamado duas vezes (para indexar o conteúdo e para vetorizar a pergunta);
  • o modelo gerador da resposta.

A etapa de recuperação pode ser montada inteira com bibliotecas gratuitas. A chave de um provedor pago só é necessária, quando é, na geração em linguagem natural.

Decisões de implementação que pesam no resultado

  • Persistência da base. Um banco vetorial em memória perde tudo quando a aplicação reinicia e obriga a vetorizar de novo, o que custa processamento. Numa implementação local, migrar de um banco em memória para o Postgres com extensão vetorial trouxe ganho expressivo de desempenho e também de qualidade do contexto devolvido.
  • Log das consultas. Registrar o contexto recuperado, o score e a resposta final de cada pergunta é o que permite diagnosticar onde a resposta falhou.
  • Onde está o erro. Resposta ruim nem sempre é culpa da recuperação. Com o contexto certo em mãos, um modelo de poucos bilhões de parâmetros ainda pode se perder no volume de texto recebido, limite típico da execução local.
  • Metadados nos chunks. Guardar a origem do trecho (documento, artigo, linha) junto ao vetor torna a resposta rastreável.
Dados novos exigem reindexação

Quando chega um conjunto novo de dados, ele precisa ser vetorizado e incluído na base existente. Se ele atualiza ou se sobrepõe a conteúdo já indexado, é preciso decidir qual versão vale. Isso é gestão do conhecimento anterior ao RAG, e nenhuma camada de automação resolve sozinha.