Sessão de Bancada Auto RAG Promessas e Limites da Automação de Pipelines RAG (2025-05-19)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou o conceito de RAG como uma forma de fornecer contexto externo aos modelos de linguagem, reduzindo limitações de conhecimento, desatualização e alucinações. Em seguida, discutiu-se o Auto RAG, que busca automatizar etapas da pipeline, como ingestão de documentos, conversão para Markdown, divisão em chunks, definição de overlap, escolha de embeddings, testes de similaridade, seleção de modelos e geração de código. Foram exploradas soluções e serviços de diferentes plataformas, mas os testes revelaram limitações importantes, como pouca transparência sobre o que ocorre internamente, opções restritas de configuração, erros em funcionalidades ainda beta e documentação ou suporte insuficientes. Também foi destacado que o Auto RAG pode lidar com diferentes formatos, inclusive imagens, mas a qualidade depende da conversão, da estrutura dos documentos e das estratégias de indexação e recuperação adotadas.
A principal conclusão foi que Auto RAG não é uma solução universal nem elimina a necessidade de conhecimento técnico. Mesmo quando a implementação é automatizada, ainda é preciso compreender chunking, embeddings, bancos vetoriais, recuperação por similaridade, segurança, avaliação, custos e atualização dos dados. Foram levantados riscos de exposição indevida de documentos, prompt injection, duplicação e armazenamento desnecessário de informações, além de promessas de mercado consideradas exageradas, como ausência total de alucinações e facilidade irrestrita para uso corporativo. Também se discutiu que muitas aplicações talvez não precisem de RAG e possam ser resolvidas diretamente pela janela de contexto do modelo ou por fine-tuning.
No debate final, reforçou-se que a automação deve apoiar tarefas específicas, e não assumir integralmente uma pipeline sem supervisão. Permaneceram em aberto a definição de critérios confiáveis para escolher entre RAG tradicional, Auto RAG, agentes e outras abordagens, a validação das ferramentas em produção, o controle de custos e segurança, e a forma adequada de reindexar dados atualizados. Também foi sugerida a continuidade dos experimentos com RAG local, MCP, modelos menores e bases vetoriais, incluindo desafios práticos para testar essas alternativas.