Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Auto RAG

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Auto RAG é a proposta de automatizar a construção de um pipeline de RAG, da ingestão ao deploy, delegando a um serviço escolhas como banco vetorial, modelo de embedding e chunking.

Montar um Pipeline de RAG à mão exige uma série de decisões: que banco vetorial usar, que modelo de embedding, que modelo de linguagem, em quantos pedaços quebrar o documento, quanto de sobreposição deixar entre eles, como expor a solução e garantir escalabilidade e segurança. O Auto RAG tenta testar essas combinações automaticamente e devolver ao usuário uma solução pronta, o que promete democratizar o uso da RAG para quem não quer programar o pipeline.

A proposta ainda é jovem, e os serviços disponíveis ficam aquém da promessa em pontos importantes.

Os quatro princípios da proposta

  • Arquitetura modular: o pipeline é organizado em nós, cada um com uma função delegada.
  • Otimização orientada por métricas: as escolhas se baseiam em precisão e velocidade, medidas sobre o contexto fornecido.
  • Experiência do usuário automatizada: as combinações de teste são geradas e executadas sem intervenção humana.
  • Avaliação iterativa: o resultado de cada módulo alimenta as etapas seguintes.

O ganho é facilidade de implementação; a perda é personalização e controle sobre o processo.

Como os serviços disponíveis se comportam

Tipo de serviçoO que o usuário ainda defineO que se observou
Serviço gerenciado de um provedor de nuvemTamanho do chunk, percentual de overlap, modelo de embedding e modelo de linguagemConverte documentos e imagens para Markdown antes de fatiar; não deixa escolher o banco vetorial; em beta, com poucas opções de modelo
Plataforma de IA de um grande fornecedor corporativoQuantos testes rodar, quantos modelos comparar, o documento base e um conjunto de perguntas e respostas esperadasRoda testes de similaridade (em geral por cosseno), ranqueia os modelos e entrega código documentado para produção ou uso local
Plataforma corporativa dedicada a Auto RAGNão foi possível testar: não há versão gratuita nem trialPromete zero alucinação e uma segunda versão do produto, promessas que parecem à frente do produto real
Projeto aberto publicado num hub de modelosPoucas seleções de custo e especificidade; aceita só texto e PDFSobe via Docker; a versão avançada está em construção; o teste falhou na etapa de otimização e a aplicação fez chamadas de rede pouco claras

O que continua exigindo decisão humana

Mesmo no serviço mais configurável, quem usa precisa saber o que são chunk e overlap e que modelo escolher, porque esses parâmetros definem a qualidade da resposta. O Auto RAG reduz a necessidade de programar, não a de entender. Casos difíceis continuam sem solução automática: um documento com páginas de texto corrido e páginas tomadas por um título grande gera chunks de tamanhos desiguais com um corte fixo de tokens.

Há também o problema da caixa-preta. Vários serviços não revelam que técnica de RAG roda por trás, e sem isso não dá para saber se ela serve ao tipo de documento em questão. A reindexação quando chegam dados novos também não é resolvida pela automação.

Custo, segurança e a pergunta anterior

O Auto RAG agrega vários serviços, cada um cobrado separadamente. Se ele copia dados que já estão num armazenamento para uma base relacional com plugin vetorial, o custo de manter a informação duplica ou triplica. Um índice temporário em memória evitaria isso.

A entrada é o prompt do usuário final

A ideia vem do AutoML, mas com uma diferença crítica: no AutoML a entrada é um conjunto de dados tratado; no Auto RAG é o prompt em tempo real de quem usa o sistema. Sem uma fronteira de segurança clara, o serviço vira porta de acesso à base. Um teste simples é pedir que ele liste todos os arquivos disponíveis: o sistema precisa recusar.

Antes de adotar, vale perguntar se o caso precisa de RAG. Às vezes o próprio modelo resolve com o que cabe na sua Janela de Contexto.

Por fim, um Auto RAG não é um Agente de IA: responde a um pedido explícito, como qualquer RAG. Se decidisse sozinho que fontes consultar e que passos seguir, seria um agente com outro nome.