Sessão de Bancada RAG com Agentes e CrewAI (2024-10-21)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou a combinação de RAG (Retrieval-Augmented Generation) com agentes e CrewAI, destacando como essa abordagem pode tornar as respostas de modelos de linguagem mais precisas, atualizadas e adaptáveis. Foi revisado o fluxo tradicional de RAG, que envolve vetorização de documentos, recuperação de trechos relevantes e geração de respostas com base nesse contexto, além de suas limitações diante de perguntas complexas, dados transacionais ou informações que não estão no banco vetorial. A abordagem com agentes amplia esse processo ao permitir que diferentes agentes pesquisem fontes, usem ferramentas e APIs externas, consultem sistemas, avaliem respostas e verifiquem possíveis alucinações antes de entregar o resultado ao usuário. Também foram discutidos casos de uso envolvendo notas acadêmicas, análise de dados, processamento de linguagem, visão computacional, informações financeiras, geolocalização e automação de processos.
Na parte prática, foi demonstrado um notebook no Google Colab usando CrewAI, LangChain, modelos Llama hospedados no Groq e embeddings do Hugging Face. O exemplo utilizou um PDF como base para RAG e criou agentes responsáveis por roteamento, recuperação, avaliação da resposta, detecção de alucinações e seleção do resultado final, incluindo a possibilidade de recorrer a uma ferramenta de pesquisa externa quando o conteúdo não estivesse disponível no banco vetorial. A demonstração foi considerada funcional, embora breve, e o notebook será compartilhado com a comunidade. Ficaram em aberto questões sobre como definir automaticamente quando uma resposta já é suficientemente boa, como validar e encadear agentes com segurança, quais dados são enviados a serviços externos como o Groq e quais modelos de embedding são mais adequados para diferentes tipos de documentos. A sessão também reforçou a importância de explorar esses temas de forma colaborativa e consultar os materiais dos ciclos anteriores sobre prompting, fine-tuning e RAG.