Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Desbloqueando o Potencial do RAG (2024-05-06)

6 mai 20241h 03min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Notas relacionadas · 6

Notas citadas nas anotações desta sessão.

Resumo da sessão

A sessão apresentou o conceito de RAG (Retrieval-Augmented Generation), destacando que a técnica combina a recuperação de informações em fontes externas com a geração de respostas por um modelo de linguagem. Foi explicado que documentos, códigos, requisitos ou manuais podem ser processados, divididos em partes menores e eventualmente convertidos em vetores para facilitar a busca por similaridade. Diferentemente do fine-tuning, o RAG não altera o modelo principal nem incorpora permanentemente os dados ao conhecimento de outros usuários; as informações ficam associadas à aplicação ou instância configurada. Também foram discutidas as modalidades de RAG simples, avançado e modular, que podem incluir limpeza, indexação, roteamento, memória, combinação de modelos e etapas de pós-processamento da resposta.

Foram apresentados exemplos de uso em chatbots, análise de negócios, saúde, pesquisas jurídicas e consulta a repositórios de código, além de uma demonstração de uma solução local capaz de responder perguntas com base em arquivos próprios. Entre as vantagens, destacaram-se a atualização de informações, a redução da necessidade de treinamento completo e o aumento da precisão quando as fontes são confiáveis e bem curadas. Como limitações, foram citadas a qualidade da recuperação, a presença de conteúdo redundante ou desatualizado, problemas de formatação em PDFs, aumento da latência e o risco de misturar versões ou contextos diferentes. Ao final, o grupo concluiu que é necessário avançar da discussão conceitual para experimentos práticos, especialmente com documentos de requisitos, código-fonte e bases relacionadas a testes, definindo também formas adequadas de limpeza, vetorização, curadoria e avaliação das respostas.

Gerado por IA a partir da transcrição.
Capítulos · 32
00:21
Abertura e testes da reunião
Assistir
02:59
Introdução à IA generativa e ao RAG
Assistir
05:33
Por que usar arquivos próprios com o GPT
Assistir
06:51
Limitações do conhecimento geral dos modelos
Assistir
09:19
Contexto da sessão e objetivos da comunidade
Assistir
13:11
Técnicas de IA aplicadas ao código-fonte
Assistir
14:28
Apresentação do tema: o que é RAG
Assistir
15:44
RAG explicado com o exemplo do Show do Milhão
Assistir
16:59
As etapas do RAG: recuperação, aumento e geração
Assistir
19:32
Dados personalizados e isolamento entre usuários
Assistir
22:06
Vetorização e base de conhecimento
Assistir
23:22
Importância do RAG e atualização das informações
Assistir
24:42
Categorias e níveis de implementação do RAG
Assistir
27:20
RAG modular e combinação de modelos
Assistir
28:36
Roteamento, busca e delegação entre módulos
Assistir
31:11
Aplicações práticas do RAG
Assistir
32:29
Demonstração com modelo local e arquivos próprios
Assistir
36:19
Processamento dos arquivos e respostas com fontes
Assistir
37:34
RAG local, embeddings e mapeamento de conteúdo
Assistir
40:07
Qualidade dos arquivos e limitações de PDFs
Assistir
41:24
Possíveis aplicações em processos jurídicos
Assistir
42:40
Uso do RAG em dados médicos e privacidade
Assistir
43:56
Vantagens, acurácia e atualização em tempo real
Assistir
45:13
RAG, fine-tuning e combinação de técnicas
Assistir
47:46
Escolha de arquivos para melhorar respostas sobre código
Assistir
50:17
Uso de repositórios e contexto tecnológico
Assistir
51:35
Indexação, recuperação e limites da base de conhecimento
Assistir
54:07
Construção e limpeza de bases vetoriais
Assistir
56:40
Proposta de experimentos práticos com documentos e código
Assistir
59:13
Curadoria, contexto regional e confiabilidade do conteúdo
Assistir
1:00:31
Atualização de modelos com RAG
Assistir
1:01:48
Encerramento e próximos passos práticos
Assistir
Cortes · 14
Como funciona o RAG
A apresentação explica conceitualmente o RAG usando a analogia de um jogo de perguntas e respostas com um livro de consulta. O processo é dividido em recuperação de informações relevantes, aumento do contexto e geração de uma resposta completa.
14:28 – 19:32Assistir
RAG, fontes externas e base vetorial
O grupo esclarece que o RAG não retreina o modelo principal: os documentos ficam disponíveis na aplicação ou em uma base de conhecimento específica. Também são explicadas a divisão dos documentos em partes menores, a vetorização e a busca por similaridade para gerar respostas mais completas.
19:32 – 24:42Assistir
Níveis e arquitetura modular do RAG
A sessão apresenta diferentes níveis de implementação do RAG, desde a consulta direta a arquivos até abordagens com limpeza, tratamento, indexação e fine-tuning. Em seguida, mostra uma arquitetura modular que combina modelos especializados para busca, roteamento, recuperação, fusão de informações e execução de tarefas.
24:42 – 31:11Assistir
Aplicações práticas do RAG
São discutidos exemplos de uso do RAG em chatbots de atendimento, análise de negócios, saúde e pesquisa jurídica. A ideia central é usar bases documentais específicas para fornecer respostas mais precisas e contextualizadas.
31:11 – 32:29Assistir
Demonstração de um LLM local com arquivos próprios
A apresentação introduz uma ferramenta capaz de rodar localmente, com privacidade, e responder perguntas a partir de arquivos fornecidos pelo usuário. O processo inclui carregar os documentos, processá-los e consultar o chat para obter respostas acompanhadas da indicação do arquivo de origem.
32:29 – 35:06Assistir
Processamento, embeddings e vetorização de documentos
A demonstração mostra o processamento dos arquivos, a criação de um mapa ou índice do conteúdo e a consulta posterior pelo chat. A conversa explica embeddings, bases vetoriais, latência e os desafios de trabalhar diretamente com PDFs mal formatados.
36:19 – 41:24Assistir
RAG em dados jurídicos e médicos
O grupo debate possíveis experimentos com processos jurídicos e bases médicas, destacando a necessidade de fontes especializadas e dados bem tratados. Também são discutidas as vantagens do RAG, como atualização de documentos em tempo real, maior acurácia e uso de bases vetoriais.
42:40 – 45:13Assistir
RAG e fine-tuning: diferenças e desafios
A discussão compara fine-tuning e RAG, destacando que o primeiro adapta um modelo para uma tarefa específica, enquanto o segundo incorpora informações externas durante a geração. Também são abordados problemas de recuperação de trechos relevantes, redundância e dificuldade de articular o contexto recuperado.
45:13 – 46:31Assistir
Como usar RAG para auxiliar programação
O grupo debate quais arquivos são mais adequados para uma base de RAG voltada a programação, como código-fonte, documentação e exemplos de erros. A conversa enfatiza que a escolha depende do tipo de resposta desejada e que repositórios filtrados por linguagem ou framework podem tornar os resultados mais precisos.
47:46 – 51:35Assistir
Indexação, volume de dados e relevância
Os participantes explicam que não basta inserir muitos arquivos em uma base vetorial: é preciso indexar bem e fornecer indicações claras para a busca. Quanto maior e mais redundante o conteúdo, maior pode ser o tempo de resposta e o risco de misturar versões ou informações semelhantes.
51:35 – 54:07Assistir
Construção de uma base vetorial
A conversa mostra como preparar documentos, especialmente PDFs, para transformá-los em uma base vetorial. São mencionadas etapas de limpeza, conversão e uso de ferramentas para gerar embeddings, além da proposta de testar o processo com livros e arquivos de código.
54:07 – 56:40Assistir
Da teoria à prática com RAG
Depois da apresentação conceitual, o grupo propõe experimentar RAG com documentos de requisitos e código-fonte. A ideia é observar o comportamento do modelo em um cenário real, fazer ajustes e avaliar seu uso tanto em automação quanto em testes manuais.
56:40 – 57:57Assistir
Curadoria e contexto regional dos dados
A discussão destaca que a qualidade das respostas depende da curadoria e do contexto dos documentos adicionados. Exemplos envolvendo legislação de diferentes países e práticas médicas mostram que informações corretas em um local podem ser inadequadas em outro.
59:13 – 1:00:30Assistir
Atualizando modelos com informação externa
Os participantes discutem como RAG pode complementar modelos desatualizados ou limitados por uma data de corte de treinamento. A técnica permite consultar fatos recentes e informações específicas sem necessariamente trocar ou retreinar todo o modelo.
1:00:31 – 1:01:48Assistir
Perguntas desta sessão
Como o RAG usa uma base de dados ou um conjunto de documentos para fornecer contexto e gerar respostas?
O RAG recupera informações de bases, documentos ou arquivos e as incorpora ao contexto enviado ao modelo, permitindo que ele responda com base nesses dados específicos, em vez de depender apenas do conteúdo usado no treinamento.
03:57 – 04:18Assistir
Como formular uma solicitação para que o GPT use arquivos de cenários de teste como base para responder?
É preciso pedir explicitamente que o modelo utilize todos os arquivos fornecidos como referência e responda sobre os cenários de teste com base neles. Sem essa orientação, o modelo tende a responder usando apenas padrões gerais aprendidos no treinamento.
06:31 – 06:40Assistir
Em que informações o GPT se baseia quando responde sem receber documentos específicos como contexto?
Sem documentos específicos recuperados para a consulta, o GPT depende dos padrões e conhecimentos presentes nos dados globais usados em seu treinamento, que incluem conteúdos disponíveis na internet. Por isso, pode produzir respostas genéricas ou pouco alinhadas a cenários muito específicos.
07:25 – 07:38Assistir
As informações adicionais usadas para complementar uma resposta no RAG ficam disponíveis para outros usuários ou são exclusivas da instância do usuário?
Depende da ferramenta utilizada, mas o RAG normalmente usa uma fonte externa como complemento. Os dados adicionados não alteram o modelo de linguagem; ficam disponíveis na aplicação ou no componente criado pelo usuário, podendo ser configurados conforme o escopo de compartilhamento.
20:04 – 20:30Assistir
Quando documentos são adicionados a uma aplicação RAG, o modelo de linguagem é treinado com essas informações ou elas ficam disponíveis apenas para o usuário que as adicionou?
O modelo não é treinado novamente. O conteúdo é usado para aumentar o modelo durante a consulta e fica disponível na aplicação ou no componente configurado, permitindo que o sistema busque informações nos documentos e personalize a resposta sem alterar a própria LLM.
20:35 – 21:18Assistir
Ao usar RAG com documentos próprios, outro usuário que utiliza o GPT padrão passa a ter acesso a esses dados?
Não. O modelo de linguagem não é alterado pelos documentos adicionados. Os dados permanecem associados à instância ou aplicação RAG criada pelo usuário, em vez de serem incorporados ao GPT geral.
21:58 – 22:24Assistir
Os dados usados em um sistema RAG podem deixar de fazer sentido ao longo do tempo?
Sim. Dados fixos, como uma documentação de 2022, podem ficar desatualizados quando a documentação muda. A atualização dos dados reduz essa defasagem e ajuda a evitar respostas falsas causadas por falta de conhecimento adequado.
24:25 – 24:56Assistir
Como fontes externas podem aumentar a credibilidade das respostas de um sistema RAG?
Ao incluir fontes externas tratadas e confiáveis como contexto, o sistema passa a fundamentar suas respostas nesses dados, aumentando a credibilidade e a completude das respostas geradas.
24:56 – 25:03Assistir
O que o RAG avançado acrescenta em relação ao RAG ingênuo?
O RAG avançado adiciona etapas de pré-processamento, como limpeza e tratamento dos documentos, para melhorar a qualidade do conteúdo recuperado e facilitar sua indexação e consulta.
26:18 – 27:12Assistir
O que é a etapa de aumento de contexto em um sistema RAG?
É a etapa em que o conteúdo recuperado é combinado com o prompt enviado ao modelo de linguagem. Depois disso, pode-se revisar ou reescrever a resposta para melhorar seu conteúdo e qualidade.
27:20 – 27:39Assistir
Como funciona um sistema local e privado para consultar arquivos com um modelo de linguagem?
O modelo é executado localmente na máquina e pode ser alimentado com arquivos próprios. Esses arquivos são indexados, permitindo fazer perguntas em uma interface de chat e recuperar informações diretamente dos documentos, inclusive indicando o arquivo relevante.
33:03 – 34:06Assistir
Como funciona a vetorização dos arquivos em um sistema RAG?
Os arquivos fornecidos são processados e transformados em embeddings, criando uma base vetorial intermediária. Essa representação permite mapear o conteúdo e recuperar trechos semanticamente relacionados às perguntas. A preparação prévia, com limpeza e organização dos dados, tende a produzir respostas melhores do que o processamento direto e bruto dos arquivos.
39:16 – 40:15Assistir
Há limitações ou regras para usar muitos arquivos vetorizados em uma base de RAG?
Não há um limite rígido mencionado, mas quanto mais conteúdo for incluído, mais importante é fazer uma boa indexação e recuperação. Caso contrário, a busca retorna muitos trechos, aumentando a extensão e o tempo de resposta; por isso, é necessário selecionar informações relevantes.
52:13 – 53:53Assistir
Como se constrói uma base vetorial para usar documentos em um sistema RAG?
Os dados, como PDFs, são convertidos em vetores por meio de embeddings. Ferramentas de processamento podem limpar o conteúdo, identificar aproximações semânticas relevantes e descartar informações inúteis antes de gerar a base vetorial.
55:05 – 55:54Assistir
Existem modelos de linguagem especializados por país ou os modelos são globais?
Os modelos são, em geral, globais, portanto é necessário considerar as diferenças regionais e de contexto ao avaliar as respostas.
1:00:06 – 1:00:13Assistir