Sessão de Bancada Desbloqueando o Potencial do RAG (2024-05-06)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou o conceito de RAG (Retrieval-Augmented Generation), destacando que a técnica combina a recuperação de informações em fontes externas com a geração de respostas por um modelo de linguagem. Foi explicado que documentos, códigos, requisitos ou manuais podem ser processados, divididos em partes menores e eventualmente convertidos em vetores para facilitar a busca por similaridade. Diferentemente do fine-tuning, o RAG não altera o modelo principal nem incorpora permanentemente os dados ao conhecimento de outros usuários; as informações ficam associadas à aplicação ou instância configurada. Também foram discutidas as modalidades de RAG simples, avançado e modular, que podem incluir limpeza, indexação, roteamento, memória, combinação de modelos e etapas de pós-processamento da resposta.
Foram apresentados exemplos de uso em chatbots, análise de negócios, saúde, pesquisas jurídicas e consulta a repositórios de código, além de uma demonstração de uma solução local capaz de responder perguntas com base em arquivos próprios. Entre as vantagens, destacaram-se a atualização de informações, a redução da necessidade de treinamento completo e o aumento da precisão quando as fontes são confiáveis e bem curadas. Como limitações, foram citadas a qualidade da recuperação, a presença de conteúdo redundante ou desatualizado, problemas de formatação em PDFs, aumento da latência e o risco de misturar versões ou contextos diferentes. Ao final, o grupo concluiu que é necessário avançar da discussão conceitual para experimentos práticos, especialmente com documentos de requisitos, código-fonte e bases relacionadas a testes, definindo também formas adequadas de limpeza, vetorização, curadoria e avaliação das respostas.