Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Desvendando o RAG e a Importância do Contexto nas LLMs (2024-06-17)

17 jun 20241h 18min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou conceitos de IA generativa, LLMs e RAG, destacando que modelos previamente treinados possuem conhecimento amplo, mas limitado ao contexto disponível e à data de treinamento. Foram comparadas técnicas como prompting, fine-tuning e RAG, usando a analogia de alunos que respondem com o que já estudaram, fazem um treinamento adicional ou consultam uma “cola” contextual. Também foram explicados tokens, metadados e a necessidade de fornecer informações específicas para obter respostas mais precisas e reduzir ambiguidades e alucinações.

A demonstração prática mostrou o fluxo de um RAG aplicado a documentos: extração de texto de PDFs, divisão em trechos, definição de overlap para preservar contexto, geração de embeddings, armazenamento em banco vetorial e busca semântica dos trechos mais próximos de uma pergunta. Em seguida, esses trechos são enviados ao modelo para permitir conversas sobre livros, artigos e documentos jurídicos. Apesar de problemas técnicos com créditos, ambiente e processamento de embeddings, foi possível demonstrar o uso com documentos em português e inglês, ressaltando a importância de escolher bem o tamanho dos trechos, o modelo de embeddings e o uso de metadados para identificar fontes, páginas e parágrafos.

No debate final, foram discutidas aplicações em help desks, atendimento ao cliente, análise de sentimentos, suporte a atendentes, sistemas jurídicos, agentes capazes de consultar bancos de dados e uso de modelos menores com RAG ou fine-tuning para reduzir custos. Ficaram como possibilidades futuras a persistência dos bancos vetoriais, a inclusão de metadados, a integração com sistemas corporativos e uma sessão específica sobre agentes. Também foram apontados desafios em confiabilidade, explicabilidade, legislação, privacidade e controle de alucinações, reforçando que a IA deve apoiar tarefas repetitivas e a tomada de decisão, mas não ser tratada como fonte absoluta de verdade.

Gerado por IA a partir da transcrição.
Capítulos · 44
00:04
Abertura e apresentação da sessão sobre IA generativa
Assistir
01:21
Solutis Labs, comunidade e objetivos da bancada
Assistir
02:40
Foco prático em grandes modelos e IA generativa
Assistir
03:55
Introdução à demonstração de RAG
Assistir
05:13
Analogia entre prompt, fine-tuning e RAG
Assistir
07:44
Contexto, tokens e limitações dos modelos
Assistir
12:58
Contextualização com dados externos e documentos
Assistir
15:35
Pipeline de RAG: documentos, chunks e busca semântica
Assistir
19:25
Extração de texto de PDFs para processamento
Assistir
22:02
Chunking e preservação de contexto com overlap
Assistir
24:37
Embeddings e vetorização dos trechos
Assistir
29:46
Banco vetorial e proximidade semântica
Assistir
32:16
Consulta, ranking e recuperação dos trechos relevantes
Assistir
34:52
Implementação com LangChain e modelos de embeddings
Assistir
36:09
Aplicação para conversar com documentos
Assistir
37:25
Demonstração com Dom Casmurro e artigos científicos
Assistir
41:22
Metadados, referências e melhoria das respostas
Assistir
43:50
Formatação das respostas e persistência do banco vetorial
Assistir
45:06
Bancos vetoriais persistentes e aplicações jurídicas
Assistir
46:23
Aplicações em helpdesk, call center e análise de sentimentos
Assistir
47:41
Análise de sentimentos em atendimentos
Assistir
48:54
IA para treinamento e suporte humano
Assistir
50:13
SLMs e modelos especializados por cliente
Assistir
51:28
Assistência inteligente no suporte técnico
Assistir
52:45
Agentes, contexto e acesso a sistemas
Assistir
54:01
RPA e consultas automatizadas a bancos de dados
Assistir
55:16
Integração entre IA, RPA e atendimento humanizado
Assistir
56:32
Aplicação prática da IA e desafios de mercado
Assistir
57:48
Legislação brasileira e riscos da IA
Assistir
59:07
Fine-tuning para cenários corporativos
Assistir
1:00:24
Alucinações, vetores e avaliação de respostas
Assistir
1:01:41
Responsabilidade por decisões automatizadas
Assistir
1:02:58
Regulação, vieses e uso cuidadoso de LLMs
Assistir
1:04:17
IA generativa e padronização de trabalhos
Assistir
1:05:29
Limites da IA para criatividade e originalidade
Assistir
1:06:46
IA como apoio ao aprendizado de programação
Assistir
1:08:04
Pesquisa, referências e usos práticos de IA
Assistir
1:09:22
IA na produção audiovisual e roteiros
Assistir
1:10:35
Dúvidas sobre RAG e agentes
Assistir
1:11:50
Encerramento e demonstração prática de RAG
Assistir
1:13:09
Compartilhamento de materiais e aprendizados
Assistir
1:14:27
Aprendizado contínuo e especialistas em IA
Assistir
1:15:44
Automação de vídeos para redes sociais
Assistir
1:17:01
Pipeline automatizado de produção de conteúdo
Assistir
Cortes · 11
Prompt, fine-tuning e RAG na metáfora dos alunos
A apresentação usa uma escola e diferentes perfis de alunos para explicar as diferenças entre um modelo pré-treinado, o fine-tuning e o RAG. A metáfora mostra como cada abordagem acrescenta conhecimento ou contexto para melhorar as respostas da inteligência artificial.
05:13 – 07:44Assistir
Tokens e como fornecer contexto a um modelo
O trecho explica o funcionamento básico de tokens e mostra, com exemplos em uma API, como um modelo de linguagem responde a perguntas. Também demonstra que o modelo não possui acesso automático a informações atuais ou internas, sendo necessário fornecer contexto explícito, como a data ou dados de uma empresa.
07:44 – 14:16Assistir
Como funciona o RAG com documentos
É apresentada a arquitetura de RAG para documentos: extrair o conteúdo, dividi-lo em partes significativas, transformá-las em vetores e recuperar os trechos mais relevantes para responder a uma pergunta. O trecho também introduz a busca semântica e explica que esse processo pode ser feito com bibliotecas gratuitas, sem depender necessariamente de uma IA paga.
14:16 – 19:25Assistir
Extração, chunking e embeddings em documentos
A demonstração percorre as etapas práticas de um pipeline de RAG usando um PDF: extração do texto, divisão em chunks com sobreposição e criação de embeddings. São discutidos os critérios para escolher o tamanho dos trechos, alternativas de divisão semântica e modelos de embeddings para português.
19:25 – 27:11Assistir
Busca vetorial e recuperação semântica
Depois de contornar problemas de execução, o apresentador mostra como os chunks são convertidos em vetores e armazenados em um banco vetorial. Em seguida, a pergunta também é transformada em embedding para recuperar os trechos mais próximos, usando pontuações de similaridade e selecionando os resultados que alimentarão o modelo de linguagem.
28:30 – 36:09Assistir
Conversando com livros e artigos por meio de RAG
Uma aplicação simples permite carregar um arquivo, processá-lo e fazer perguntas sobre seu conteúdo. A demonstração usa Dom Casmurro e um artigo científico para mostrar como o sistema gera resumos, responde perguntas e mantém a conversa restrita ao contexto do documento enviado.
36:09 – 40:00Assistir
Análise de sentimentos para melhorar o atendimento
A conversa explora o uso de busca semântica, vetores e análise de sentimentos em conversas de helpdesk ou call center. A ideia é identificar pontos críticos das interações, avaliar respostas dos atendentes e usar esses dados para aprimorar o treinamento da equipe.
46:23 – 50:13Assistir
Assistente de IA especializado para helpdesk
Os participantes discutem testar modelos menores e especializados para apoiar atendimentos de chat, usando o histórico de respostas dos atendentes e informações específicas de cada contrato ou cliente. O assistente poderia sugerir respostas, fazer perguntas de diagnóstico e acionar agentes ou bases de dados para consultar equipamentos, contratos e números de série.
50:13 – 54:00Assistir
Integração entre IA, agentes e RPA
O trecho mostra como um agente de IA poderia interagir com o usuário, identificar a informação necessária e consultar sistemas externos ou bancos de dados para conduzir o atendimento. A discussão também aborda o crescimento da demanda por RPA e a corrida das empresas para integrar IA a processos corporativos.
54:01 – 56:32Assistir
IA corporativa, rastreabilidade e riscos de alucinação
A conversa aborda o uso de IA para ampliar o atendimento humano e acessar informações em tempo real, mas destaca os desafios de integração, legislação e rastreabilidade das respostas. Também são discutidos os riscos de alucinação, viés e uso de modelos generalistas sem dados corporativos contextualizados.
56:32 – 1:05:33Assistir
O que a IA faz bem — e onde ainda falha
Os participantes defendem que a IA deve ser usada para reduzir tarefas repetitivas e gerar insights, não necessariamente para produzir algo original ou substituir o aprendizado. O trecho compara o uso de IA para estudar, pesquisar referências e criar exercícios com o uso de geradores de código, que pode prejudicar quem ainda está aprendendo a programar.
1:06:46 – 1:09:24Assistir
Perguntas desta sessão
O que é um token em uma LLM?
Um token é uma unidade de texto com significado processada pelo modelo; pode variar de uma letra a uma palavra, e a tokenização divide a entrada em várias dessas unidades. A quantidade de tokens é apresentada nos metadados da interação.
09:55 – 10:46Assistir
Qual é a especificidade do modelo Anthropic usado na demonstração?
O modelo Anthropic não tem acesso direto a recursos do sistema operacional, como calendário e relógio, portanto não sabe automaticamente a data atual. Ele responde a perguntas gerais com base no treinamento, mas precisa receber informações atuais no prompt para obter contexto do dia a dia.
10:53 – 11:23Assistir
O que o RAG faz com documentos em PDF ou texto?
O RAG extrai a documentação, divide o conteúdo em pequenos trechos significativos, transforma esses trechos em vetores e os armazena em um banco vetorial. Quando o usuário faz uma pergunta, ela também é vetorizada para recuperar os trechos semanticamente mais próximos e fornecer contexto para a resposta do modelo.
15:23 – 16:58Assistir
É necessário usar outra inteligência artificial para dividir textos, gerar embeddings e fazer busca semântica?
Não. Essas etapas podem ser realizadas apenas com bibliotecas, pois envolvem a divisão do texto, a vetorização dos trechos e a busca baseada nesses vetores.
19:28 – 19:44Assistir
O que é overlap na divisão de documentos em chunks?
Overlap é a sobreposição entre chunks consecutivos. Parte do chunk anterior é repetida no seguinte — por exemplo, 20 caracteres — para evitar a perda de contexto quando o documento é dividido em trechos.
22:35 – 22:58Assistir
Como o SemanticChunker faz a divisão de um texto em chunks?
O SemanticChunker analisa o texto e realiza uma divisão semântica, identificando onde cada unidade de sentido começa e termina, de modo semelhante à separação por parágrafos ou capítulos.
23:54 – 23:54Assistir
Quem define o tamanho dos chunks em uma divisão semântica?
O tamanho dos chunks é informado ao método junto com o texto. O componente realiza a divisão semântica, mas usa esse parâmetro para orientar o tamanho dos trechos e depois permite verificar como o texto foi dividido.
23:55 – 24:14Assistir
Qual é o próximo passo depois de dividir um documento em chunks?
Depois da divisão, cada trecho deve ser vetorizado por meio de um modelo de embeddings. Na demonstração, os chunks são transformados em vetores usando um modelo de Transformers em português, preparando-os para a busca semântica.
25:05 – 25:28Assistir
Como as palavras de uma pergunta são representadas no processo de busca semântica?
A pergunta também é transformada em um embedding, isto é, em uma representação numérica dentro de uma matriz multidimensional, para ser comparada aos vetores armazenados.
31:16 – 31:24Assistir
Quais métricas podem ser usadas para comparar embeddings na busca semântica?
As principais métricas citadas são a distância de cosseno e a distância euclidiana. A interpretação do melhor escore depende da métrica: na euclidiana, valores mais próximos de um foram descritos como melhores; na de cosseno, valores mais próximos de zero.
31:24 – 31:39Assistir
Como o sistema seleciona os trechos mais relevantes para uma pergunta em um banco vetorial?
O sistema compara o embedding da pergunta com os vetores armazenados, calcula a proximidade e retorna os trechos mais semelhantes. A quantidade de resultados pode ser configurada, como top 3, top 5 ou top 7.
33:47 – 33:57Assistir
Como é possível conversar com um arquivo enviado para uma aplicação de RAG?
Ao processar o arquivo, a aplicação extrai e divide o texto em chunks, gera embeddings, armazena os vetores em um banco vetorial em memória e então usa esses dados para recuperar contexto e responder às perguntas sobre o arquivo.
37:21 – 37:47Assistir
Sobre o que trata o livro Dom Casmurro?
O livro é apresentado como uma obra sobre a vida de um homem solitário, Bentinho, que vive em uma casa construída por ele próprio; a demonstração mostra que o modelo consegue responder com base no conteúdo do documento fornecido.
38:02 – 38:33Assistir
Sobre o que trata o artigo científico em inglês sobre testes de mutação?
O artigo trata do uso de testes de mutação para desenvolver software correto e aberto. A demonstração também indica que os testes foram considerados eficazes e que os participantes relataram alto nível de satisfação.
39:09 – 39:54Assistir
Um sistema de IA pode acessar APIs ou outras fontes externas de informação para responder aos usuários?
Sim. A IA pode ser integrada a APIs e sistemas externos para consultar informações atualizadas, como dados de equipamentos, contratos ou bases corporativas, e usar esses dados na interação com o usuário.
52:22 – 52:48Assistir