Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Auto RAG Promessas e Limites da Automação de Pipelines RAG (2025-05-19)

19 mai 20252h 07min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou o conceito de RAG como uma forma de fornecer contexto externo aos modelos de linguagem, reduzindo limitações de conhecimento, desatualização e alucinações. Em seguida, discutiu-se o Auto RAG, que busca automatizar etapas da pipeline, como ingestão de documentos, conversão para Markdown, divisão em chunks, definição de overlap, escolha de embeddings, testes de similaridade, seleção de modelos e geração de código. Foram exploradas soluções e serviços de diferentes plataformas, mas os testes revelaram limitações importantes, como pouca transparência sobre o que ocorre internamente, opções restritas de configuração, erros em funcionalidades ainda beta e documentação ou suporte insuficientes. Também foi destacado que o Auto RAG pode lidar com diferentes formatos, inclusive imagens, mas a qualidade depende da conversão, da estrutura dos documentos e das estratégias de indexação e recuperação adotadas.

A principal conclusão foi que Auto RAG não é uma solução universal nem elimina a necessidade de conhecimento técnico. Mesmo quando a implementação é automatizada, ainda é preciso compreender chunking, embeddings, bancos vetoriais, recuperação por similaridade, segurança, avaliação, custos e atualização dos dados. Foram levantados riscos de exposição indevida de documentos, prompt injection, duplicação e armazenamento desnecessário de informações, além de promessas de mercado consideradas exageradas, como ausência total de alucinações e facilidade irrestrita para uso corporativo. Também se discutiu que muitas aplicações talvez não precisem de RAG e possam ser resolvidas diretamente pela janela de contexto do modelo ou por fine-tuning.

No debate final, reforçou-se que a automação deve apoiar tarefas específicas, e não assumir integralmente uma pipeline sem supervisão. Permaneceram em aberto a definição de critérios confiáveis para escolher entre RAG tradicional, Auto RAG, agentes e outras abordagens, a validação das ferramentas em produção, o controle de custos e segurança, e a forma adequada de reindexar dados atualizados. Também foi sugerida a continuidade dos experimentos com RAG local, MCP, modelos menores e bases vetoriais, incluindo desafios práticos para testar essas alternativas.

Gerado por IA a partir da transcrição.
Capítulos · 55
07:35
Abertura e apresentação da sessão
Assistir
10:11
Contexto do Labs e agenda sobre AutoRAG
Assistir
12:44
O que é RAG e como ele fornece contexto
Assistir
14:02
Limitações dos modelos de linguagem e redução de alucinações
Assistir
16:37
Por que aprender RAG e suas aplicações
Assistir
20:29
Tipos de RAG e ausência de uma solução única
Assistir
23:08
Quando usar RAG e introdução ao AutoRAG
Assistir
24:27
Como o AutoRAG automatiza a pipeline
Assistir
25:47
Recursos, princípios e arquitetura do AutoRAG
Assistir
28:23
Automação, avaliação e trade-offs do AutoRAG
Assistir
29:40
Ferramentas e serviços gerenciados de AutoRAG
Assistir
32:12
Ingestão de documentos, Markdown e configuração de chunks
Assistir
33:28
Overlap, embeddings e banco vetorial
Assistir
36:01
Estratégias de chunking e limites da automação
Assistir
38:32
Testes, ranking de modelos e geração de código
Assistir
44:57
Gorilla AI e promessas para uso corporativo
Assistir
48:56
AutoRAG no Hugging Face e experiência prática
Assistir
50:13
Primeiras impressões e instalação do AutoRAG
Assistir
51:30
Testes da interface e limitações do AutoRAG
Assistir
52:48
Configurações essenciais de um sistema RAG
Assistir
54:03
AutoRAG não é uma solução mágica
Assistir
55:23
Potenciais e evolução dos serviços de AutoRAG
Assistir
57:59
Custos e desafios atuais da IA generativa
Assistir
59:16
Segurança, autonomia e comparação com AutoML
Assistir
1:03:06
Custos, necessidade real e riscos do AutoRAG
Assistir
1:05:40
AutoRAG como agente e arquitetura com roteamento
Assistir
1:08:18
Preparação de dados e configuração de serviços RAG
Assistir
1:09:33
Duplicação de custos e crítica ao modelo de negócio
Assistir
1:10:51
Desafio de construir um RAG local com MCP
Assistir
1:14:40
Boas práticas para soluções automatizadas
Assistir
1:15:56
Segurança, custos e riscos de ferramentas de agentes
Assistir
1:18:28
Engenharia de aplicações com LLM e limites do vibe coding
Assistir
1:19:40
Requisitos para rodar um RAG local com MCP
Assistir
1:20:56
LM Studio, llama.cpp e modelos locais
Assistir
1:22:12
Hardware necessário para modelos locais
Assistir
1:24:46
Memória, modelos e componentes de um RAG local
Assistir
1:27:23
Indexação, embeddings e preparação dos documentos
Assistir
1:28:39
Chunking, visão e vetorização de imagens
Assistir
1:31:12
Vetorização e busca por similaridade
Assistir
1:32:27
Markdown, texto e codificação UTF-8
Assistir
1:35:00
Chunking de livros, artigos e código
Assistir
1:37:36
Índices vetoriais e HNSW
Assistir
1:38:52
Atualização e reindexação de dados
Assistir
1:41:26
Como funciona o retrieve vetorial
Assistir
1:42:44
Limiar de similaridade e top-k
Assistir
1:46:36
Distâncias vetoriais e cosseno
Assistir
1:53:05
Bancos de dados vetoriais
Assistir
1:54:25
Pré-retrieve, retrieve e reranking
Assistir
1:55:44
Pipeline completo de RAG
Assistir
1:58:19
Embeddings de imagens e geração
Assistir
1:59:36
Tratamento de documentos multimodais
Assistir
2:00:54
Roteamento e escolha de ferramentas
Assistir
2:02:15
RAG versus agentes autônomos
Assistir
2:03:30
Ferramentas, function calling e modelos de imagem
Assistir
2:06:03
Encerramento da sessão
Assistir
Cortes · 22
O que é RAG e por que usá-lo
A sessão explica o conceito de RAG como uma forma de fornecer contexto externo aos modelos de linguagem, usando documentos, vetorização e bases de conhecimento. Também aborda como a técnica reduz alucinações, contorna limitações de modelos menores e permite aplicações especializadas com dados empresariais.
12:44 – 23:08Assistir
AutoRAG: automatizando a construção do RAG
O trecho apresenta o AutoRAG como uma abordagem que automatiza etapas da pipeline de RAG, como escolha de banco vetorial, embeddings, modelo de linguagem, divisão de documentos e avaliações. São discutidos seus princípios, incluindo arquitetura modular, otimização por métricas, testes automáticos e o equilíbrio entre facilidade de uso, personalização e desempenho.
23:08 – 29:40Assistir
Onde usar AutoRAG e quais ferramentas existem
Os participantes discutem cenários de uso do AutoRAG, diferenciando consultas pontuais de aplicações sistemáticas que exigem escalabilidade, segurança e integração por API. O trecho também apresenta diferentes formas de acesso à tecnologia, com foco em serviços gerenciados e em uma iniciativa recente usada como referência para a apresentação.
29:40 – 32:12Assistir
Ingestão de documentos, Markdown e overlap
A demonstração conceitual explica como ferramentas de AutoRAG processam PDFs, textos e imagens, convertendo o conteúdo para Markdown antes de dividi-lo em chunks. O grupo detalha as configurações de tamanho dos chunks e overlap, mostrando como a sobreposição preserva contexto entre partes do documento e quais decisões ainda precisam ser feitas pelo usuário.
32:12 – 37:17Assistir
Avaliação automática e limites do AutoRAG
O trecho mostra como serviços de AutoRAG testam diferentes modelos, fazem a divisão e recuperação dos chunks, calculam similaridade e entregam um código documentado para execução. Também são debatidas as limitações da automação, a falta de transparência sobre o que acontece internamente e as diferenças entre abordagens de plataformas como IBM Watson e serviços voltados à escalabilidade.
37:17 – 44:57Assistir
Promessas e desafios do AutoRAG corporativo
São apresentadas plataformas corporativas de AutoRAG, como a GrydAI, com promessas de uso sem código, alta precisão e ausência de alucinações. Os participantes questionam essas afirmações, destacam riscos de segurança e documentação e ressaltam que a validação prática é necessária antes de confiar em dados empresariais sensíveis.
44:57 – 48:56Assistir
Explorando o AutoRAG no Hugging Face
O trecho apresenta a experiência de exploração de uma solução de AutoRAG disponível no Hugging Face. A ferramenta permite selecionar configurações, enviar documentos PDF ou texto e escolher modelos de linguagem, mas a demonstração termina com um erro na geração do resultado final.
48:56 – 50:13Assistir
Primeiros testes com AutoRAG
A sessão apresenta a documentação, instalação e interface de uma ferramenta de AutoRAG, baseada em Docker. São mostrados testes com arquivos de conhecimento, limitações da versão beta e erros na etapa de otimização.
50:13 – 54:03Assistir
O que é preciso entender em um AutoRAG
Mesmo sem implementar um RAG do zero, é necessário compreender conceitos como chunking, overlap, tokens e escolha de modelo. O trecho defende uma avaliação pragmática das ferramentas, sem tratá-las como uma solução universal.
54:03 – 55:22Assistir
Potenciais e desafios do AutoRAG
Os participantes discutem o potencial de automatizar a criação de RAGs e facilitar o uso por pessoas sem conhecimento técnico. Em seguida, destacam desafios como custos crescentes, modelos generalistas e pouca transparência sobre o que acontece por trás das soluções prontas.
56:42 – 59:16Assistir
Segurança e custos escondidos no AutoRAG
O debate compara AutoRAG com AutoML e questiona os limites de segurança quando prompts de usuários acessam bases de documentos automaticamente. Também são discutidos vazamento de informações, custos de múltiplos serviços e a necessidade de avaliar se um RAG é realmente necessário.
59:16 – 1:04:21Assistir
AutoRAG como agente e pipeline de RAG
O trecho diferencia dados preparados para AutoML de documentos usados em RAG e questiona se o AutoRAG é, na prática, um agente com roteamento, avaliação e composição de respostas. Os participantes também explicam que uma solução sistemática exige preparação dos dados, controle de acesso e definição do escopo de cada usuário.
1:04:21 – 1:09:33Assistir
Facilidade de implementação versus custo
A discussão alerta que serviços de AutoRAG podem duplicar ou triplicar custos ao vetorizar e armazenar dados que já existem em outros serviços. O grupo critica o marketing da facilidade e defende verificar se o serviço realmente atende ao caso de uso antes de adotá-lo.
1:09:33 – 1:12:09Assistir
Automação exige responsabilidade técnica
Os participantes reforçam que é preciso conhecer os modelos, prompts, algoritmos e custos envolvidos em qualquer solução automática. O trecho também alerta para vulnerabilidades em ferramentas de orquestração e afirma que o profissional deve atuar como engenheiro de aplicações que usam IA, não delegando um pipeline inteiro à automação.
1:15:56 – 1:18:28Assistir
Como rodar um RAG local
Em resposta a uma pergunta, o grupo explica os componentes necessários para um RAG local com MCP e diferencia o uso de modelos locais de serviços externos. São apresentados caminhos como LM Studio, Ollama e llama.cpp, além de uma estimativa de memória de GPU por quantidade de parâmetros.
1:19:40 – 1:23:27Assistir
Hardware e componentes de um RAG local
O trecho detalha opções de placas de vídeo, memória RAM e limitações para executar modelos locais de diferentes tamanhos. Também apresenta a arquitetura básica de um RAG, com modelos para interpretar o prompt, recuperar documentos e preparar os dados.
1:23:27 – 1:27:21Assistir
Preparação, chunking e embeddings
A explicação mostra que a preparação e a indexação dos dados acontecem antes da consulta RAG propriamente dita. São abordados embeddings, chunking, conversão de arquivos para texto e uso de modelos com visão para descrever imagens antes de vetorizá-las.
1:27:23 – 1:29:54Assistir
Vetorização, busca por similaridade e chunking
Explica por que os dados são vetorizados e como bibliotecas de busca por similaridade, como FAISS, aceleram a recuperação. Também discute a conversão para Markdown e os desafios de dividir livros, artigos científicos e código em chunks que preservem o contexto.
1:31:12 – 1:37:33Assistir
Como o RAG recupera conhecimento
Mostra o fluxo de recuperação em um RAG: documentos são transformados em vetores, organizados em uma estrutura de busca e comparados com o vetor da pergunta. O trecho usa uma representação gráfica para explicar como os conteúdos mais próximos são selecionados e levanta os impactos de adicionar ou atualizar dados na base.
1:37:36 – 1:45:20Assistir
Similaridade por cosseno e limiar de busca
Aprofunda a configuração da busca vetorial, incluindo distância de cosseno, limiar de similaridade e top-k. O diálogo esclarece a diferença entre o valor matemático da similaridade e a forma como esses parâmetros são usados nas implementações para filtrar os trechos recuperados.
1:45:20 – 1:53:05Assistir
Pipeline técnico de um sistema RAG
Apresenta opções de armazenamento vetorial, como PostgreSQL com pgvector, e detalha as etapas de um pipeline RAG: pré-retrieval, embeddings, recuperação, eventual reranking e geração pela LLM. Também aborda o tratamento de imagens e documentos multimodais antes da busca.
1:53:05 – 2:00:54Assistir
Diferença entre RAG e agentes
Explica que um RAG responde a pedidos do usuário, enquanto um agente opera com maior autonomia e pode combinar recuperação de informação com ferramentas e outros modelos. O exemplo do ChatGPT mostra como chamadas de função acionam recursos específicos, como geração de imagens.
2:02:15 – 2:06:03Assistir
Perguntas desta sessão
O que é RAG e como ele funciona?
RAG é uma técnica para fornecer contexto externo a um modelo de linguagem. Documentos, como PDFs ou arquivos de texto, são transformados em vetores e armazenados em uma base vetorial; quando o usuário faz uma pergunta, informações relevantes são recuperadas e usadas para gerar uma resposta mais contextualizada.
12:48 – 14:26Assistir
Qual é a diferença que o RAG proporciona às respostas de um modelo de linguagem?
O RAG permite que o modelo responda com base em informações específicas e atualizadas fornecidas externamente, como os preços de uma livraria, em vez de depender apenas do conhecimento aprendido durante o treinamento. Isso ajuda a reduzir respostas desatualizadas ou alucinações.
13:25 – 14:26Assistir
Por que é importante continuar aprendendo sobre RAG?
É importante porque os modelos de linguagem, as técnicas de contextualização e as aplicações de IA evoluem continuamente. Compreender RAG ajuda a especializar modelos genéricos para usos específicos e a fornecer contexto de forma eficiente, aproveitando melhor os modelos de linguagem.
17:04 – 18:29Assistir
Como funciona o Auto RAG?
Enquanto a janela de contexto permitir, o sistema usa as informações disponíveis para fornecer contexto ao modelo; a abordagem automatiza etapas da construção e operação do RAG.
22:44 – 22:49Assistir
Como decidir se uma aplicação precisa de RAG?
A decisão depende do objetivo e do nível de sistematização. Para uma necessidade pontual, pode bastar enviar um documento a um chat; aplicações sistemáticas exigem considerar escalabilidade, segurança, banco vetorial, embeddings, gerenciamento e integração por API.
23:11 – 24:08Assistir
O que é Auto RAG e o que ele automatiza?
Auto RAG automatiza não apenas o código, mas também a construção da pipeline, desde a ingestão das informações até o resultado final. Ele pode testar automaticamente bancos vetoriais, modelos de linguagem, chunking e overlap, delegando várias escolhas ao sistema.
24:21 – 25:20Assistir
Como a otimização orientada por métricas funciona no Auto RAG?
O sistema observa métricas de acordo com o contexto fornecido e otimiza as escolhas conforme os requisitos de precisão e velocidade da resposta, incluindo decisões sobre prompts e geração de contexto.
27:43 – 28:10Assistir
Quais são as formas de utilizar o Auto RAG?
O Auto RAG pode ser utilizado por meio de bibliotecas, plataformas de IA generativa e serviços gerenciados; na apresentação, o foco está nos serviços gerenciados.
30:07 – 30:33Assistir
O que é o overlap entre chunks em um pipeline RAG?
Overlap é a repetição de uma parte do texto entre chunks consecutivos. Essa sobreposição preserva contexto nas bordas dos chunks e pode melhorar a recuperação de informações relacionadas; o tamanho do chunk e a porcentagem de overlap são configuráveis.
33:33 – 34:05Assistir
Como o Auto RAG infere quais informações deve buscar antes de consultar a base vetorial?
O Auto RAG estima previamente o que precisa recuperar com base na pergunta e em elementos disponíveis, como buckets e tabelas. Em seguida, consulta a base vetorial para encontrar os conteúdos semanticamente relacionados.
38:35 – 38:55Assistir
Como o Watson avalia diferentes modelos em uma implementação RAG?
O Watson recebe o documento, perguntas e respostas esperadas como casos de teste. Ele gera e executa vários testes, separa os chunks, aplica overlap, calcula a similaridade entre resultados e respostas esperadas e produz um ranking dos modelos. Normalmente usa similaridade por cosseno, embora outras métricas possam ser escolhidas.
40:25 – 40:46Assistir
O que é a GoriAI?
A GoriAI é uma empresa e plataforma voltada ao uso corporativo de Auto RAG, prometendo automatizar a criação de soluções baseadas em dados empresariais e modelos de linguagem.
45:28 – 45:38Assistir
O que foi observado nos testes da GoriAI?
Os testes ficaram limitados porque a plataforma não oferecia uso gratuito completo, apenas um trial. Apesar de apresentar várias promessas, a exploração prática foi restrita.
46:32 – 46:43Assistir
Quais algoritmos, modelos e limites de segurança são usados internamente por uma plataforma de Auto RAG?
A discussão destacou que muitas plataformas não informam claramente qual algoritmo de RAG, modelo, prompt, banco vetorial ou mecanismo de segurança utilizam. Essa falta de transparência dificulta avaliar o funcionamento, a adequação da solução e os controles aplicados.
1:00:37 – 1:00:55Assistir
Quais riscos de segurança existem quando um Auto RAG recebe prompts de usuários?
O prompt do usuário pode funcionar como uma porta de acesso ao sistema e induzir o Auto RAG a consultar ou expor documentos indevidos. Um teste importante é verificar se ele obedece a solicitações para listar ou revelar todos os arquivos disponíveis; aceitar esse tipo de prompt indica falhas de controle de acesso e vulnerabilidade a prompt injection.
1:01:44 – 1:03:02Assistir
Quais são os principais custos de uma solução RAG automatizada?
Uma solução RAG normalmente reúne vários serviços, como armazenamento, processamento, vetorização, indexação e recuperação, cada um com custo próprio. A escalabilidade não elimina esses custos e pode haver despesas adicionais por duplicação de dados e infraestrutura.
1:03:19 – 1:03:48Assistir
Quando uma implementação de RAG ou Auto RAG é realmente necessária?
Antes de adotar Auto RAG, é preciso verificar se o modelo já responde adequadamente usando sua própria janela de contexto. Se o conjunto de informações couber no contexto e o modelo já tiver conhecimento suficiente, uma solução RAG pode ser desnecessária; caso contrário, o RAG pode fornecer documentos externos e atualizados.
1:04:02 – 1:04:21Assistir
Como o Auto RAG deve usar a documentação para decidir quais fontes consultar?
O Auto RAG precisa identificar, a partir do prompt e da configuração da documentação, quais fontes devem ser usadas na busca. A autonomia está em selecionar e consultar essas fontes, mas isso não elimina a necessidade de definir corretamente os dados e as regras de acesso.
1:05:55 – 1:06:15Assistir
O que é necessário para rodar um modelo de linguagem totalmente local?
É preciso instalar uma ferramenta ou runtime para execução local, como LM Studio ou llama.cpp, e dispor de hardware compatível. A quantidade de memória da GPU depende do tamanho do modelo; modelos maiores exigem mais VRAM, embora também possam utilizar a RAM, com redução de velocidade.
1:21:57 – 1:23:15Assistir
Quais modelos são normalmente necessários para implementar um pipeline RAG?
Normalmente são usados um modelo pequeno para identificar a intenção ou as necessidades da consulta, um modelo de embeddings para vetorizar documentos e consultas e um modelo de linguagem para gerar a resposta. O modelo de identificação pode ter ativação de ferramentas e selecionar documentos ou etapas do pipeline.
1:26:26 – 1:27:04Assistir
Como os documentos são preparados antes da recuperação em um pipeline RAG?
Os documentos passam por preparação e indexação: podem ser convertidos para texto ou Markdown, divididos em chunks e transformados em embeddings. Esses vetores são armazenados em uma base vetorial para permitir a busca posterior por similaridade.
1:27:35 – 1:28:55Assistir
Como funciona a formatação de arquivos Markdown usados em pipelines RAG?
A formatação é definida no próprio conteúdo Markdown por meio de elementos como títulos e subtítulos indicados por símbolos de cerquilha. O arquivo pode conter texto normal, HTML e outras marcações, desde que o interpretador usado consiga reconhecer essas tags e aplicar a codificação adequada, como UTF-8.
1:33:15 – 1:34:41Assistir
O que é necessário fazer quando um novo conjunto de dados é adicionado a uma base RAG já vetorizada?
É necessário reindexar o novo conjunto, gerando novos chunks e vetores para os documentos adicionados ou alterados. Depois, deve-se reavaliar a solução de busca e recuperação para verificar se ela continua adequada ao conjunto atualizado. O custo está associado principalmente ao volume de dados e contexto processado, além da nova vetorização e indexação.
1:39:23 – 1:41:04Assistir
O que acontece quando uma pergunta não tem similaridade com os documentos armazenados na base vetorial?
Se a pergunta estiver fora do contexto dos documentos, a busca vetorial não encontra conteúdo relevante. Com um limiar de similaridade adequado, nenhum trecho é retornado quando os vetores são muito distantes.
1:50:57 – 1:51:13Assistir
Onde os vetores usados pela busca semântica podem ser armazenados?
A base vetorial pode ser armazenada em diferentes soluções, como bancos com suporte a vetores, incluindo PostgreSQL com pgvector, ou serviços especializados. Também é possível manter os vetores temporariamente em memória ou em arquivos para buscas locais e menos persistentes.
1:52:56 – 1:54:12Assistir
Como funciona o Auto RAG?
O Auto RAG usa um modelo de linguagem para ampliar o conteúdo da resposta com base em informações recuperadas externamente, combinando recuperação de contexto e geração de texto.
1:55:55 – 1:56:05Assistir
Como foi estruturado o pipeline de RAG apresentado na sessão?
A implementação usa vários modelos para tornar o processo mais criterioso: um modelo realiza a recuperação por similaridade e outro pode fazer o reranking dos resultados recuperados para selecionar os trechos mais relevantes antes da geração da resposta.
1:56:43 – 1:57:41Assistir
Qual é a diferença entre um RAG tradicional e um agente de IA?
O RAG tradicional é acionado por uma solicitação do usuário e recupera informações para responder. Um agente tem autonomia para decidir quais ferramentas e processos utilizar, podendo combinar RAG com ferramentas e outros modelos.
2:02:54 – 2:03:42Assistir