Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Learning Prototype Especialização de LLM Sessão 2 RAG CAG e Fine-tuning (2025-11-07)

7 nov 20251h 10min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

O encontro apresentou a proposta da especialização prática de modelos de linguagem, baseada em um método com quatro etapas: definir o objetivo, estabelecer expectativas, preparar os dados e avaliar as respostas. Foi reforçado que a atividade tem caráter experimental e colaborativo, sem exigir uma solução pronta, e que os participantes devem documentar e apresentar suas especializações até o último encontro. Também foi divulgada uma nova edição da dinâmica Monster Labs, prevista para o dia 24, condicionada à formação de um grupo de interessados, além do calendário dos próximos encontros e dos materiais disponíveis no Miro e no Teams.

A principal discussão técnica comparou engenharia de prompts, RAG/CAG e fine-tuning. Um experimento com uma linguagem de programação específica mostrou que inserir uma documentação extensa e pouco estruturada no contexto gerou respostas ruins, enquanto dados selecionados e organizados em uma tabela, com exemplos de perguntas, funções e saídas esperadas, produziram código compilável e mais útil. Foi destacada a importância da qualidade, seleção e estruturação dos dados, dos riscos de perda de contexto na divisão de documentos e da necessidade de validar se as respostas são executáveis. RAG foi associado à busca de informações externas atualizáveis, CAG ao uso de um contexto completo e fine-tuning à incorporação persistente de padrões ou estilos no modelo; a escolha depende do objetivo, da escala e da frequência de atualização dos dados.

Também foi demonstrada uma ferramenta interna que permite criar projetos, personas, instruções de sistema e anexar arquivos para orientar as respostas, exemplificando uma abordagem de especialização sem código. Como pontos em aberto, ficaram a evolução dos experimentos individuais, a organização das apresentações segundo as quatro etapas do método, o aprofundamento das técnicas de recuperação e avaliação e a possível exploração de um projeto de controle parental com IA, incluindo classificação de conteúdo e adequação etária. Os participantes foram incentivados a continuar testando, preparar melhor os dados e compartilhar dúvidas e resultados nos próximos encontros.

Gerado por IA a partir da transcrição.
Capítulos · 45
01:35
Objetivo dos encontros e prática com LLMs
Assistir
04:03
Aprender explorando tecnologias emergentes
Assistir
05:21
Introdução ao LLM Prototype e ao Miro
Assistir
06:40
Histórico das dinâmicas de especialização
Assistir
07:59
Método prático em quatro etapas
Assistir
09:15
Nova edição do Monster Labs
Assistir
11:47
Agenda dos encontros e acesso ao Teams
Assistir
13:05
Proposta do LLM Prototype e recompensas
Assistir
14:22
Guia para criar e apresentar especializações
Assistir
16:55
Compartilhamento de experimentos da bancada
Assistir
19:32
Caso prático: especialização para a linguagem Faico
Assistir
20:49
Desafio de gerar código SRL compilável
Assistir
22:09
Testes com documentação e excesso de contexto
Assistir
24:47
RAG e busca de conhecimento
Assistir
27:20
Atenção dos modelos e contexto relevante
Assistir
28:38
Experimentos com funções e tabelas de exemplos
Assistir
31:12
Resultados com base de conhecimento estruturada
Assistir
33:45
Avaliação da especialização em quatro etapas
Assistir
35:05
Engenharia de prompts e system prompts
Assistir
36:21
Como funciona o RAG
Assistir
37:38
RAG, qualidade dos dados e limitações
Assistir
40:12
Desafios de segmentação e perda de contexto no RAG
Assistir
41:28
RAG versus uso do contexto completo
Assistir
42:45
Embeddings, bancos vetoriais e preservação de contexto
Assistir
44:02
Embedding manual em planilhas para especialização
Assistir
45:18
RAG inteligente, grafos e uso de agentes
Assistir
46:34
Aplicações práticas de RAG sem ferramentas complexas
Assistir
47:50
Ideia de controle parental com IA
Assistir
49:08
Classificação etária para plataformas e chats
Assistir
50:26
Critérios de risco e permissão para crianças
Assistir
51:41
Preparação de dados para respostas precisas
Assistir
53:00
Prompt engineering, RAG e fine-tuning
Assistir
54:17
Quando usar fine-tuning ou RAG
Assistir
55:34
Qualidade dos dados e escolha da técnica
Assistir
56:51
Apresentação da ferramenta Prompt Hub
Assistir
58:11
Criação de personas e system prompts
Assistir
59:25
Demonstração de persona especializada
Assistir
1:00:40
Projetos, arquivos e especialização sem código
Assistir
1:01:58
Objetivos, avaliação e engenharia de dados
Assistir
1:03:14
Qualidade dos dados na especialização de modelos
Assistir
1:04:30
Como formular pedidos melhores para a IA
Assistir
1:05:46
Desafio prático de especialização
Assistir
1:07:02
Boas práticas para estruturar prompts
Assistir
1:08:19
Encerramento e discussão sobre controle parental
Assistir
1:09:31
Referência sobre qualidade de dados e despedida
Assistir
Cortes · 10
Como funciona a prática de especialização de LLMs
Os participantes explicam a proposta dos encontros práticos para explorar tecnologias emergentes e aprender por meio de experimentos. Também apresentam o método de especialização de LLMs em quatro etapas, a dinâmica lúdica do Monster Labs e a ideia de repetir a atividade para novos interessados.
05:21 – 10:31Assistir
Especializando um modelo para gerar código de uma linguagem proprietária
É apresentado um experimento para fazer um modelo gerar código compilável em SRL, uma linguagem específica de uma ferramenta de negócio. O grupo mostra os problemas de usar documentação inteira como contexto, incluindo informações irrelevantes e exemplos incorretos, e discute quando usar busca de conhecimento, RAG ou contexto direto.
20:49 – 26:04Assistir
De documentação bruta a uma base de exemplos funcionais
O experimento evolui da documentação genérica para uma tabela estruturada com perguntas comuns, funções correspondentes, respostas esperadas e código executável. Essa abordagem melhora os resultados e permite que o modelo gere uma solução compilável para conversão de datas na linguagem SRL.
28:38 – 32:27Assistir
Prompt engineering, RAG e a importância da qualidade dos dados
O grupo explica como instruções de sistema e engenharia de prompts orientam um modelo especializado. Em seguida, detalha o funcionamento do RAG, que busca trechos relevantes em uma base externa, e alerta que documentos grandes, mal estruturados ou com conteúdo inadequado podem levar a respostas incorretas.
35:05 – 40:11Assistir
Como evitar perda de contexto no RAG
A discussão explica como a divisão de documentos em blocos pode cortar informações importantes e prejudicar a busca por similaridade. Também são apresentadas estratégias como sobreposição entre trechos, embeddings manuais em planilhas e RAG estruturado por temas, datas e horários.
40:12 – 46:34Assistir
RAG manual para problemas do dia a dia
O trecho mostra que técnicas de RAG podem ser aplicadas manualmente, até mesmo usando o GPT gratuito, um arquivo preparado e um prompt salvo. A principal lição é que preparar melhor os dados pode gerar boas respostas sem exigir uma grande infraestrutura de engenharia.
46:34 – 47:49Assistir
IA aplicada ao controle parental
Tatiane apresenta uma ideia de controle parental com IA que vai além de limitar o acesso, ajudando pais a entender riscos e conteúdos consumidos pelas crianças. A conversa relaciona o projeto a sistemas de classificação etária para plataformas de chat, redes sociais e aplicações, além de discutir como estruturar esses dados para obter avaliações mais precisas.
47:50 – 53:00Assistir
RAG ou fine-tuning: quando usar cada técnica
O trecho compara prompt engineering, RAG e fine-tuning para especializar modelos. RAG é indicado quando os dados mudam ou são consultados pontualmente, enquanto fine-tuning é mais adequado para incorporar padrões permanentes de linguagem e estilo ao modelo.
53:00 – 56:51Assistir
Especialização de modelos com projetos e personas
É apresentada uma ferramenta que permite criar projetos, anexar arquivos e configurar personas por meio de system prompts. A demonstração mostra como combinar documentos preparados e instruções de comportamento para obter respostas mais específicas, destacando que a qualidade e a organização dos dados são fundamentais.
56:51 – 1:01:58Assistir
Qualidade dos dados e clareza nos prompts
A conversa reforça que especializar um modelo exige definir o objetivo, selecionar e tratar os dados e estabelecer como as respostas serão avaliadas. Também é destacada a importância de formular claramente o pedido, preferencialmente colocando a pergunta ou instrução principal ao final do contexto.
1:01:58 – 1:04:30Assistir
Perguntas desta sessão
Como o conhecimento da documentação da Faico foi carregado no experimento de geração de código SRL?
A documentação foi carregada diretamente no prompt do GPT como base de conhecimento, usando o PDF inteiro, sem implementar RAG para selecionar apenas os trechos relevantes. Essa abordagem gerou excesso de contexto e confundiu o modelo.
23:44 – 24:12Assistir
O experimento de geração de código SRL usou RAG para selecionar as partes relevantes da documentação?
Não. O PDF completo foi inserido diretamente no prompt. Isso causou envenenamento de contexto, pois o modelo recebeu muitas informações e teve dificuldade para identificar o que era relevante.
23:54 – 24:12Assistir
Qual abordagem teve o melhor resultado no experimento de geração de código para a linguagem SRL?
A abordagem baseada em uma tabela estruturada de perguntas comuns, funções correspondentes, tipos de resposta esperados e saídas de execução apresentou o melhor resultado. Ela foi ampliada com exemplos de conversão de datas, declaração de variáveis, comparações, operações matemáticas e cenários de crédito.
29:02 – 30:30Assistir
Como o experimento definiu a função e a saída esperada para cada solicitação de código em SRL?
Para cada pergunta, foi registrada a função da linguagem que resolvia o problema, o tipo de resposta esperado e a saída resultante da execução do código. Esses exemplos foram organizados em uma tabela usada como base para gerar código compilável.
29:44 – 29:53Assistir
O que o RAG faz quando recebe uma pergunta sobre um domínio específico, como a linguagem SRL?
O RAG converte a pergunta em uma representação semântica, busca trechos similares em uma base externa e adiciona os resultados ao prompt sem que o usuário precise fazer isso manualmente. Assim, o modelo recebe contexto relevante e tende a gerar respostas mais precisas, como código SRL compilável.
36:42 – 37:44Assistir
Como os dados devem ser selecionados e divididos para uma busca semântica eficiente em um sistema RAG?
Os dados são normalmente divididos em chunks por tamanho, como quantidade de caracteres ou tokens, e transformados em embeddings armazenados em um banco vetorial. A divisão pode separar trechos relacionados e causar perda de contexto; por isso, é útil incluir sobreposição entre chunks, como o início do parágrafo seguinte. Quando é necessário considerar o documento inteiro, o CAG pode ser mais adequado que a recuperação semântica.
40:16 – 42:19Assistir
Como lidar com um sistema de especialização que precisa responder sobre diferentes tipos de dados, como datas, horas, listas e funções?
Uma estratégia é usar RAG mais estruturado, inclusive RAG baseado em grafos, aproximando cada consulta do contexto especializado correspondente. Essa abordagem pode ser mais custosa e exigir uma infraestrutura maior; outra opção é combinar diferentes componentes ou agentes especializados para encaminhar cada tipo de solicitação.
45:18 – 46:24Assistir
Como consultar e preparar informações de controle parental para que um modelo de linguagem produza respostas precisas e úteis?
É necessário organizar e tratar os dados com qualidade. Em uma abordagem RAG, a busca semântica localiza na base os trechos relacionados à pergunta e os adiciona ao contexto do modelo. A estruturação dos dados é importante porque informações genéricas ou mal preparadas podem gerar respostas imprecisas; quando necessário, deve-se escolher uma técnica que preserve melhor o contexto exigido pela aplicação.
51:41 – 53:04Assistir
Como escolher entre prompt engineering, RAG, CAG e fine-tuning para especializar um modelo de linguagem?
A escolha depende do objetivo, da escala de uso e do tipo de resposta esperado. RAG é adequado para consultar dados externos que mudam ou são incrementados, sem retreinar o modelo. CAG é útil quando todo o conteúdo precisa permanecer no contexto. Fine-tuning é indicado para incorporar padrões persistentes de linguagem, estilo ou comportamento, embora exija custo de retreinamento; por exemplo, pode ensinar o modelo a usar uma linguagem regional ou jargões de forma consistente.
54:01 – 55:42Assistir
Por que é necessário preparar os dados antes de fornecê-los a um modelo de linguagem?
Os dados precisam ser organizados e preparados para que o modelo consiga compreendê-los; simplesmente fornecer muita informação pode confundi-lo e prejudicar a qualidade das respostas. Também é importante definir como as respostas serão avaliadas.
1:02:33 – 1:02:48Assistir
Que abordagem é necessária quando um projeto de RAG se torna mais complexo?
Projetos de RAG mais complexos exigem uma solução mais próxima da engenharia de dados, com preparação, estruturação e fornecimento adequado dos dados ao modelo, em vez do uso de uma ferramenta simples como o Prompt Hub.
1:02:54 – 1:03:06Assistir