Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Desbravando IA Generativa Fine-tuning e RAG em Construção (2024-06-03)

3 jun 20241h 22min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou o contexto da bancada de IA generativa e retomou o objetivo de explorar, de forma prática, técnicas como prompt engineering, fine-tuning e RAG. Também foi discutida a estrutura de contas corporativas em plataformas de IA, especialmente a criação de projetos, limites de consumo e o comportamento atípico do projeto padrão, que aparentemente não permite as mesmas restrições dos demais. O grupo comentou ainda tendências do mercado, a rápida adoção da IA nas empresas, o impacto sobre o desenvolvimento de software e a ideia de que as ferramentas atuais automatizam tarefas repetitivas, mas ainda exigem conhecimento técnico para customização, validação e manutenção.

As demonstrações em andamento mostraram avanços em fine-tuning e RAG. No fine-tuning, uma base pequena de perguntas e respostas foi enriquecida com perguntas similares e convertida para o formato exigido pelo modelo, mas os testes revelaram desafios de qualidade, custo e tempo de processamento; a geração da massa de dados chegou a levar cerca de uma hora e vinte minutos. Ficou como próximo passo reduzir e comparar conjuntos de dados, testar outros modelos, avaliar custos e melhorar a eficiência. No RAG, foi explicado o processo de dividir documentos, gerar embeddings, armazená-los em banco vetorial e recuperar os trechos mais próximos para fornecer contexto ao modelo, com atenção especial ao tamanho dos chunks, aos metadados e à persistência dos dados.

Também foram levantados pontos de segurança, como ataques por prompts maliciosos capazes de induzir sistemas a revelar dados inseridos por outros usuários, além dos riscos de misturar catálogos com diferentes níveis de acesso. A recomendação preliminar foi tratar permissões e contextos com bastante cautela, possivelmente separando bases ou assistentes quando necessário. As demonstrações continuarão até o próximo encontro, previsto para 17 de junho, ainda sem horário definido; o desafio de prompt engineering permanece aberto a voluntários. Por fim, surgiu a proposta de criar um fórum ou espaço de comunidade separado do Teams para organizar materiais, avanços e discussões, reduzir o ruído das comunicações e incentivar a participação por meio de mecanismos de reconhecimento.

Gerado por IA a partir da transcrição.
Capítulos · 37
00:13
Abertura e boas-vindas
Assistir
01:48
Gestão de contas, membros e projetos
Assistir
09:28
Pauta da sessão e contexto do AI Labs
Assistir
12:07
A presença da IA no cotidiano
Assistir
13:25
Evolução da inteligência artificial generativa
Assistir
16:00
O cenário corporativo de IA em camadas
Assistir
19:51
Barreiras de entrada e oportunidades no ecossistema de IA
Assistir
21:10
IA vai substituir desenvolvedores?
Assistir
23:46
Ferramentas de IA como apoio à programação
Assistir
26:21
Demonstrações de prompt engineering
Assistir
30:10
Técnicas avançadas e propostas de demonstração
Assistir
32:41
Fine-tuning com base de perguntas e respostas
Assistir
36:33
Escolha do modelo para ajuste fino
Assistir
40:22
Custos, tempo e desempenho do treinamento
Assistir
41:41
Ciclo de testes e avaliação do fine-tuning
Assistir
44:15
Projeto prático com contexto multimodal
Assistir
45:31
Visão inicial da apresentação e uso de LLMs
Assistir
46:50
Processamento de documentos Markdown e divisão em chunks
Assistir
48:06
Instabilidade das bibliotecas e versões do banco vetorial
Assistir
49:23
Inserção e consulta de vetores com documentos jurídicos
Assistir
50:40
Recuperação de contexto para geração de respostas
Assistir
51:57
Como funciona o RAG e a busca por vizinhos
Assistir
53:09
Importância do conhecimento jurídico na divisão do texto
Assistir
54:29
Tamanho dos chunks e riscos de perda de contexto
Assistir
55:45
Divisão por capítulos e uso de metadados
Assistir
57:01
Metadados e referências na recuperação de documentos
Assistir
58:20
Top-k, vetorização e integração com modelos generativos
Assistir
59:33
Comparação de modelos e execução local
Assistir
1:02:06
Encerramento da demonstração e próximos desafios
Assistir
1:05:54
Ataques de prompt e extração de dados de LLMs
Assistir
1:08:27
Segurança de dados e uso malicioso de IA
Assistir
1:09:47
Controle de acesso e isolamento de contextos
Assistir
1:12:17
Persistência em banco e continuidade do projeto
Assistir
1:13:30
Próximo encontro e planejamento das apresentações
Assistir
1:16:04
Proposta de fórum para compartilhamento de conhecimento
Assistir
1:18:39
Engajamento, contribuições e organização da comunidade
Assistir
1:21:13
Encerramento da sessão
Assistir
Cortes · 7
O avanço da IA generativa
A sessão contextualiza o objetivo da bancada e discute como a inteligência artificial generativa deixou de ser uma ideia de ficção científica para chegar a aplicações acessíveis no dia a dia. Também são apresentados conceitos como machine learning, processamento de linguagem natural e o impacto do poder computacional recente.
09:28 – 14:42Assistir
As camadas do ecossistema de IA
Os participantes explicam o ecossistema corporativo de inteligência artificial por meio de uma árvore, passando por processadores, modelos, infraestrutura, aplicações e produtos finais. A conversa também aborda barreiras de entrada, modelos especializados e a oportunidade de atuação nas camadas mais próximas das aplicações.
14:42 – 21:09Assistir
IA vai substituir desenvolvedores?
O grupo debate previsões de que a inteligência artificial acabará com a profissão de desenvolvedor e contrapõe essa ideia aos desafios ainda existentes para customizar soluções. As ferramentas são apresentadas como auxiliares para tarefas repetitivas e ganho de produtividade, mas ainda exigem revisão e conhecimento de programação.
21:10 – 27:38Assistir
Fine-tuning com perguntas e respostas
A equipe explica a construção de um modelo ajustado a partir de um PDF de perguntas e respostas, incluindo a geração automática de perguntas similares, a transformação dos dados para o formato exigido e os testes de treinamento. O trecho detalha os problemas de qualidade, custo e tempo de processamento, além do ciclo de testar, avaliar e aprimorar a solução.
32:41 – 44:15Assistir
Construindo um sistema de busca com documentos e banco vetorial
A demonstração mostra como carregar um arquivo em Markdown ou PDF, dividir seu conteúdo e preparar os trechos para armazenamento em um banco vetorial. Também explica a instabilidade das bibliotecas e a necessidade de fixar versões, além de apresentar como os documentos recuperados servem de contexto para um modelo de linguagem.
46:50 – 53:09Assistir
Chunking, metadados e recuperação dos trechos relevantes
O grupo explica como escolher o tamanho dos chunks de acordo com o tipo de documento jurídico e como a divisão influencia a qualidade das respostas. A demonstração mostra a separação por capítulos usando Markdown, o armazenamento de metadados e a busca pelos vizinhos mais próximos, que depois podem ser enviados a um modelo generativo como contexto.
53:09 – 59:36Assistir
Prompt injection e controle de acesso em chatbots com dados sensíveis
O trecho apresenta um ataque em que prompts maliciosos fazem um chatbot retornar dados armazenados e podem contaminar respostas futuras em um ciclo. A discussão relaciona o problema ao uso de informações jurídicas e catálogos com diferentes níveis de permissão, debatendo se o isolamento por contexto é suficiente ou se chats e bases independentes seriam mais seguros.
1:05:54 – 1:12:19Assistir
Perguntas desta sessão
O projeto padrão da conta corporativa ainda não tem controle de limites de consumo?
Ainda não. O controle de limites para o projeto padrão não está implementado; em outros projetos criados pela equipe é possível definir limitações de consumo.
03:17 – 03:22Assistir
O que foi solicitado para treinar o modelo a partir do documento em PDF?
Foi solicitado o enriquecimento da massa de dados, pois treinar apenas com as dez perguntas originais não produziu respostas relevantes.
33:25 – 33:31Assistir
Como a massa de dados de treinamento foi enriquecida?
Foram geradas cerca de 50 perguntas similares para cada pergunta original, ampliando a massa de dados; depois, a quantidade foi reduzida para controlar o volume e os custos.
33:31 – 34:36Assistir
Quantos exemplos ou perguntas são necessários para obter um bom resultado em um fine-tuning?
A documentação indica começar com cerca de 50 exemplos; no experimento, foram geradas aproximadamente 10 perguntas para cada pergunta original, o que aumentou bastante o volume da massa de dados.
35:05 – 35:31Assistir
Quais são as diferenças entre os modelos de IA generativa disponíveis para uso offline?
Os modelos têm capacidades, qualidade e resultados diferentes. Também há modelos destinados a tarefas específicas, como geração de texto ou criação de embeddings, portanto a escolha depende do uso pretendido.
36:43 – 37:14Assistir
Qual modelo de linguagem está sendo usado nos testes de fine-tuning?
Os testes utilizam o GPT-3.5 Turbo 0125, recomendado pela documentação. Outras versões, como 0613 e 1106, são tratadas como alternativas ou experimentais; o modelo 0125 também é disponibilizado como padrão em determinadas requisições.
37:14 – 38:53Assistir
Como funciona um modelo local sem acesso a informações atualizadas?
O modelo local usado no experimento funciona sem acesso a atualizações, à data ou à hora atuais. Isso permite demonstrar como ele responde com base apenas no conhecimento e no contexto que já possui, sem consultar informações recentes.
45:43 – 46:08Assistir
Como a massa de documentos vetorizados é usada em um sistema RAG?
Os documentos vetorizados são usados como contexto para o modelo de linguagem: a consulta busca os vizinhos mais próximos no banco vetorial, recupera os trechos relevantes e os envia ao modelo junto com a pergunta.
50:50 – 50:56Assistir
É necessário um especialista em Direito para preparar um sistema de IA que consulte legislação e jurisprudência?
Para um sistema baseado em RAG, não é necessário treinar novamente o modelo; os documentos jurídicos são organizados, divididos e recuperados como contexto. Entretanto, conhecimento do domínio é importante para definir divisões úteis dos documentos e identificar o conteúdo relevante.
52:05 – 53:19Assistir
Como funciona a consulta a um banco vetorial em um sistema RAG?
A consulta é transformada em vetor e usada para localizar os vizinhos mais próximos no banco vetorial. Os trechos recuperados formam o contexto que é enviado ao modelo, que combina esse contexto com o conhecimento que já possui para gerar a resposta.
52:45 – 53:12Assistir
Por que é importante conhecer o conteúdo dos documentos ao definir o tamanho dos chunks?
O conhecimento do domínio ajuda a escolher uma divisão coerente. Chunks muito grandes incluem informações desnecessárias e aumentam o desvio na busca; chunks muito pequenos podem perder contexto e dificultar a recuperação. Por isso, a divisão deve considerar a estrutura e o significado do documento.
53:54 – 54:46Assistir
O que são metadados em documentos usados em um sistema RAG?
Metadados são informações associadas a cada trecho do documento, como capítulo e título. Ao recuperar os vetores mais semelhantes, o sistema usa esses dados para identificar e apresentar as fontes ou locais de onde a resposta foi obtida.
56:44 – 57:36Assistir
É possível isolar o acesso aos dados de um sistema com LLM por contexto, de modo que cada perfil de usuário veja apenas as informações autorizadas?
A solução mais segura seria usar chats ou bases independentes para cada perfil, pois um chat não teria conhecimento do contexto dos demais. Também é possível considerar um contexto controlado, mas isso exige cuidado para impedir o acesso a dados não autorizados.
1:11:04 – 1:11:29Assistir