Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Graph RAG e os Tipos de RAG na Prática (2024-11-04)

4 nov 20241h 16min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão contextualizou o trabalho da bancada de IA generativa, que vem explorando técnicas de RAG e se aproxima da criação de produtos experimentais. Foram retomados os conceitos de RAG tradicional, RAG semântico e Agentic RAG, destacando que cada abordagem atende a diferentes níveis de complexidade e necessidades. Também se discutiu como o RAG complementa modelos generalistas ao recuperar informações externas, enriquecer o contexto dos prompts e reduzir alucinações, sem exigir o treinamento completo de um novo modelo. A conversa ressaltou que a escolha da técnica depende do caso de uso, dos recursos disponíveis e do equilíbrio entre custo, precisão e complexidade.

O foco principal foi o Graph RAG, abordagem que organiza documentos em grafos de conhecimento, identificando entidades, relações e comunidades para permitir buscas mais contextualizadas e específicas. A técnica foi comparada a uma árvore ou rede de tópicos, capaz de percorrer apenas os ramos relevantes de uma pergunta, como separar os conhecimentos de Leonardo da Vinci por áreas antes de responder sobre um tema específico. Foram mencionadas aplicações em saúde, finanças e cidades inteligentes, além do uso de bancos como Neo4j e da biblioteca GraphRAG da Microsoft. A parte prática não foi concluída devido a problemas com chaves e créditos de modelos, mas foi apresentada uma sequência de configuração, ingestão de arquivos, geração de grafos e consultas; ficou encaminhada a realização posterior de testes com outra chave e o compartilhamento do código e de materiais complementares. Ao final, foi solicitado o preenchimento de um formulário anônimo de feedback, e a próxima sessão foi indicada para quinze dias depois.

Gerado por IA a partir da transcrição.
Capítulos · 38
00:17
Abertura e boas-vindas
Assistir
01:45
Introdução e aquecimento da sessão
Assistir
03:02
Ferramentas de IA para criação
Assistir
04:19
Novidades em Copilot e ferramentas de desenvolvimento
Assistir
06:51
Comparação entre ferramentas de IA
Assistir
09:25
Contexto e objetivos da bancada
Assistir
10:41
Nova fase e produtos experimentais
Assistir
11:59
Exploração de IA generativa
Assistir
15:48
Introdução às técnicas de RAG
Assistir
19:41
Conceito e funcionamento do RAG
Assistir
22:19
Vantagens e limitações do RAG nativo
Assistir
24:49
Pipeline de recuperação e geração
Assistir
27:20
RAG e combate às alucinações
Assistir
28:36
RAG semântico
Assistir
29:53
Tipos avançados: Graph RAG e Agentic RAG
Assistir
32:26
Resumo dos tipos de RAG
Assistir
35:02
Introdução ao Graph RAG
Assistir
36:17
Entidades e comunidades em grafos
Assistir
37:36
Eficiência e contextualização do Graph RAG
Assistir
38:51
Comparação entre vetorização e grafos
Assistir
40:06
Analogia prática do Graph RAG
Assistir
42:37
Grafos para especializar o contexto das respostas
Assistir
47:42
Bancos de grafos e ferramentas como Neo4j
Assistir
48:57
Construção e atualização de grafos de conhecimento
Assistir
50:14
Aplicações em saúde, finanças e cidades inteligentes
Assistir
51:34
Introdução prática ao GraphRAG
Assistir
52:50
Instalação e configuração do GraphRAG
Assistir
54:10
Modelos de linguagem e embeddings
Assistir
56:44
Criação dos grafos a partir de arquivos
Assistir
58:02
Consultas locais e visualização do grafo
Assistir
1:01:54
Arquiteturas de agentes e recuperação de contexto
Assistir
1:04:37
Chunking, vetorização e construção do contexto
Assistir
1:05:56
Definição do tamanho ideal dos chunks
Assistir
1:08:30
Aumento de prompts com agentes e funções
Assistir
1:09:47
Tradução, correção e revisão de prompts
Assistir
1:11:03
Arquitetura para respostas mais precisas
Assistir
1:13:36
Complexidade, aprendizado e comunidade
Assistir
1:14:55
Encerramento e formulário de feedback
Assistir
Cortes · 7
Tipos de RAG e como funciona a recuperação aumentada
A sessão apresenta o conceito de RAG e explica como documentos são vetorizados, divididos em trechos e recuperados para enriquecer o prompt de um modelo de linguagem. Também são comparadas as abordagens RAG nativa, semântica, Graph RAG e Agentic RAG, destacando aplicações, níveis de complexidade, limitações e o combate às alucinações.
15:48 – 36:17Assistir
Como funciona o Graph RAG
O trecho explica como o Graph RAG identifica entidades e relações em documentos para construir comunidades e grafos de conhecimento. A discussão compara essa abordagem à vetorização tradicional e usa analogias, como uma árvore e um time de futebol, para mostrar como a busca pode recuperar conjuntos de informações relacionadas e gerar respostas mais contextualizadas.
36:17 – 42:37Assistir
Como o grafo especializa o contexto
A discussão mostra como um grafo de conhecimento pode reduzir a dispersão de informações sobre figuras multidisciplinares, como Leonardo da Vinci. O contexto é podado e direcionado para uma área específica, como arquitetura, aviação ou engenharia, produzindo respostas mais precisas.
42:37 – 46:24Assistir
Construção de um grafo de conhecimento
São apresentadas ferramentas e etapas para construir um grafo de conhecimento, incluindo bancos de grafos como Neo4j e fontes obtidas por web scraping ou APIs. O processo envolve organizar os dados, estruturar as relações e aprimorar o contexto usado pela IA.
47:42 – 50:13Assistir
Aplicação prática com Microsoft GraphRAG
O trecho demonstra como configurar um projeto de GraphRAG com a biblioteca da Microsoft, modelos de linguagem e modelos de embedding. Também são explicados os arquivos de entrada, os comandos de inicialização, a criação local dos grafos e possíveis problemas relacionados a créditos e APIs.
51:34 – 59:17Assistir
Da recuperação de documentos ao contexto aumentado
A explicação percorre o fluxo de recuperação de informações a partir de PDFs, textos, livros e conteúdo da web. O processo inclui chunking, vetorização, embeddings, ajuste do tamanho dos trechos e diferentes formas de augmentation para fornecer contexto mais relevante ao modelo.
1:03:19 – 1:09:47Assistir
Revisão de prompts e arquitetura de agentes
O trecho apresenta etapas adicionais para melhorar prompts, como tradução, correção ortográfica, revisão de sentido e reescrita. Também mostra como agentes e chamadas de função podem ser combinados para construir respostas mais precisas e especializadas do que as obtidas por um modelo generalista.
1:09:47 – 1:13:36Assistir
Perguntas desta sessão
No RAG nativo, o modelo de linguagem é treinado novamente com os documentos recuperados?
Não. O modelo permanece o mesmo; o RAG apenas recupera informações relevantes e as adiciona ao contexto da solicitação, sem retreinar o modelo. Isso torna a técnica menos custosa, embora mantenha limitações e possíveis brechas.
22:37 – 22:51Assistir
Como funciona o processo de recuperação e aumento de geração (RAG)?
O RAG melhora a entrada e a saída do prompt ao recuperar conteúdo relevante, adicioná-lo ao contexto do modelo e então executar a geração da resposta. Assim, é possível complementar um modelo com informações atualizadas ou específicas sem substituí-lo ou retreiná-lo.
24:45 – 24:56Assistir
Como os conteúdos recuperados são combinados em um pipeline de RAG?
O pipeline organiza etapas como apresentação e execução do prompt, recuperação e junção dos conteúdos relevantes, seguida da geração da resposta. A quantidade de conteúdo pode ser ajustada conforme o cenário e o problema a ser resolvido.
25:22 – 25:53Assistir
Por que utilizar RAG para complementar modelos de linguagem?
Modelos de linguagem podem não saber uma informação e, nesse caso, gerar respostas incorretas ou alucinações. O RAG permite fornecer contexto e dados externos para reduzir esse problema e orientar a resposta do modelo.
28:06 – 28:42Assistir
O que é RAG semântico e qual é sua vantagem em relação ao RAG tradicional?
O RAG semântico agrupa chunks, ou trechos de texto, por significado semântico. Ele mantém o fluxo geral do RAG tradicional, mas pode melhorar a eficiência e a relevância das respostas ao recuperar trechos semanticamente relacionados.
28:42 – 29:21Assistir
Quais são as diferenças entre o RAG nativo, o RAG semântico, o Graph RAG e o Agentic RAG?
O RAG nativo recupera documentos, usa vetorização e amplia o contexto do prompt. O RAG semântico agrupa trechos por significado. O Graph RAG usa grafos de conhecimento para representar entidades e relações. O Agentic RAG acrescenta autonomia, agentes e possibilidade de acionar ferramentas ou fontes externas.
32:33 – 33:04Assistir
O que são os grafos no Graph RAG e como eles são construídos?
No Graph RAG, modelos generativos identificam entidades relevantes em documentos, como pessoas, conceitos e objetos recorrentes, e estabelecem relações entre elas. A partir dessas conexões, o sistema organiza comunidades e subgrafos que permitem navegar pelo conhecimento de forma contextualizada e fazer buscas mais eficientes.
36:15 – 37:11Assistir
Em quais cenários da vida real o Graph RAG pode ser útil?
O Graph RAG pode ser aplicado na saúde, para apoiar diagnósticos mais precisos e precoces; em plataformas financeiras, para detectar fraudes, anomalias e padrões suspeitos de transações; e em cidades inteligentes, para integrar dados de transporte e otimizar serviços públicos.
50:00 – 51:22Assistir
Como configurar o arquivo de entrada no Microsoft GraphRAG?
É possível criar uma pasta chamada `input` na raiz do projeto e colocar nela um arquivo de texto, como um TXT contendo um livro ou a biografia de Leonardo da Vinci. Depois, executa-se o comando de inicialização para criar os grafos localmente.
56:58 – 57:52Assistir
Quais granularidades podem ser usadas para dividir documentos em chunks no RAG?
Os documentos podem ser divididos por página, parágrafo ou outros tamanhos definidos pelo pipeline. O tamanho do chunk influencia a quantidade de contexto recuperada e pode ser ajustado conforme a necessidade.
1:06:26 – 1:06:36Assistir
Como funciona a chamada de função no Agentic RAG?
Na chamada de função, o sistema declara explicitamente o nome e o funcionamento da ferramenta. Em vez de recuperar documentos ou gerar embeddings, ele injeta essas instruções diretamente no processo de geração, que pode ser posteriormente ampliado com contexto.
1:08:59 – 1:09:08Assistir
Qual é a utilidade da correção e da reescrita de prompts em um pipeline de RAG?
A correção e a reescrita podem melhorar o entendimento do modelo, corrigindo problemas de idioma, sentido e formulação. Essas etapas podem ocorrer antes ou depois do prompt principal e também podem incluir revisão por agentes.
1:10:05 – 1:11:02Assistir