Sessão de Bancada Desvendando o RAG e a Importância do Contexto nas LLMs (2024-06-17)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou conceitos de IA generativa, LLMs e RAG, destacando que modelos previamente treinados possuem conhecimento amplo, mas limitado ao contexto disponível e à data de treinamento. Foram comparadas técnicas como prompting, fine-tuning e RAG, usando a analogia de alunos que respondem com o que já estudaram, fazem um treinamento adicional ou consultam uma “cola” contextual. Também foram explicados tokens, metadados e a necessidade de fornecer informações específicas para obter respostas mais precisas e reduzir ambiguidades e alucinações.
A demonstração prática mostrou o fluxo de um RAG aplicado a documentos: extração de texto de PDFs, divisão em trechos, definição de overlap para preservar contexto, geração de embeddings, armazenamento em banco vetorial e busca semântica dos trechos mais próximos de uma pergunta. Em seguida, esses trechos são enviados ao modelo para permitir conversas sobre livros, artigos e documentos jurídicos. Apesar de problemas técnicos com créditos, ambiente e processamento de embeddings, foi possível demonstrar o uso com documentos em português e inglês, ressaltando a importância de escolher bem o tamanho dos trechos, o modelo de embeddings e o uso de metadados para identificar fontes, páginas e parágrafos.
No debate final, foram discutidas aplicações em help desks, atendimento ao cliente, análise de sentimentos, suporte a atendentes, sistemas jurídicos, agentes capazes de consultar bancos de dados e uso de modelos menores com RAG ou fine-tuning para reduzir custos. Ficaram como possibilidades futuras a persistência dos bancos vetoriais, a inclusão de metadados, a integração com sistemas corporativos e uma sessão específica sobre agentes. Também foram apontados desafios em confiabilidade, explicabilidade, legislação, privacidade e controle de alucinações, reforçando que a IA deve apoiar tarefas repetitivas e a tomada de decisão, mas não ser tratada como fonte absoluta de verdade.