Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Learning Prototype Especialização de LLM Sessão 4 Habilidades Especiais e Modelo Base (2025-11-28)

28 nov 202559min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão abordou habilidades especiais e a escolha do modelo-base no processo de especialização de LLMs. Foi retomado o método de análise baseado em expectativas, dados, avaliação das respostas e ferramental, destacando que é necessário decompor o objetivo geral em habilidades menores, como geração de código, leitura de arquivos, análise de vulnerabilidades e produção de respostas em formatos específicos. Também foi divulgada uma nova edição da dinâmica Labs Monster, que permitirá aos participantes construírem representações de especializações e concorrerem às respectivas recompensas.

Foram apresentados exemplos práticos de especialização. Um participante demonstrou uma ferramenta de estudos para certificações da Microsoft, que consulta a API oficial, gera materiais, simulados, flashcards e quizzes com apoio de IA. Outro exemplo mostrou o uso de modelos locais especializados em chat, código e embeddings, evidenciando que modelos diferentes podem ter melhor desempenho conforme a tarefa. A discussão reforçou a importância de considerar qualidade, custo, quantidade de tokens, tempo de resposta, privacidade e facilidade de integração, além de evitar avaliações enviesadas por contexto prévio.

Por fim, foi demonstrada uma plataforma de comparação de modelos, com modos de batalha anônima, comparação lado a lado e chat direto. Os participantes avaliaram respostas de diferentes modelos para análise de vulnerabilidades, percebendo diferenças de concisão, detalhamento e adequação ao objetivo. Concluiu-se que não existe um modelo universalmente melhor: a escolha depende das habilidades exigidas, das expectativas e do contexto da solução. Ficou como próximo passo a preparação de especializações pelos participantes, que poderão apresentá-las no encontro seguinte e solicitar as recompensas do Learning Prototype.

Gerado por IA a partir da transcrição.
Capítulos · 26
00:07
Abertura e tema do encontro
Assistir
04:59
Agenda: habilidades especiais e escolha de modelos
Assistir
06:18
Dinâmica do Labs Monster e especialização
Assistir
11:26
Método para estruturar especializações
Assistir
12:41
Projeto de tutor para certificação Microsoft
Assistir
19:08
Avaliação do projeto e aplicação do método
Assistir
21:42
Ferramentas, modelos e acessibilidade
Assistir
26:48
Critérios para comparar modelos de IA
Assistir
28:06
Uso de LLMs locais e modelos especializados
Assistir
31:58
Código, embeddings e RAG
Assistir
35:54
Comparação de modelos sem viés de contexto
Assistir
37:09
Arena para comparar modelos
Assistir
38:26
Escolha de modelos para cada especialização
Assistir
40:59
Modo batalha e avaliação anônima
Assistir
43:30
Habilidades necessárias em uma especialização
Assistir
44:53
Definição de habilidades para especialização
Assistir
46:08
Decomposição de habilidades e critérios de avaliação
Assistir
47:23
Comparação subjetiva entre respostas de modelos
Assistir
48:41
Seleção de modelos e uso de plataformas de IA
Assistir
49:58
Cuidados ao interpretar benchmarks de LLMs
Assistir
51:15
Comparação prática e integração de modelos
Assistir
52:34
Avaliação lado a lado: Gemini e Claude
Assistir
53:50
Expectativas, contexto e adequação ao uso
Assistir
55:07
Seleção rápida e sem viés de modelos
Assistir
56:24
Recapitulação e próximos encontros
Assistir
57:43
Convite para especializações e recompensas
Assistir
Cortes · 6
Tutor de IA para certificação Microsoft
Ramon apresenta uma ferramenta criada para estudar para a certificação Microsoft, usando a API oficial de conteúdos, um tutor de IA, simulados, flashcards e quizzes. O grupo analisa como a solução aplica naturalmente um processo de especialização baseado em necessidade, dados, avaliação e escolha de modelo.
12:41 – 21:42Assistir
Comparando modelos locais para tarefas específicas
É apresentada uma experiência com modelos executados localmente, sem enviar dados para serviços externos, usando ferramentas de desenvolvimento e modelos especializados em chat, código e embeddings. A comparação mostra que modelos treinados para código são melhores em autocomplete e geração de código, enquanto modelos gerais podem compreender melhor arquitetura e contexto.
28:06 – 37:09Assistir
Ferramentas para comparar modelos de IA
O grupo demonstra uma plataforma que permite comparar modelos lado a lado, em batalhas anônimas ou por avaliação direta, para descobrir qual se adapta melhor a cada caso de uso. A discussão destaca que a escolha depende da especialização desejada, das habilidades necessárias e dos modelos disponíveis.
37:09 – 43:30Assistir
Habilidades necessárias em uma especialização
A conversa detalha como as habilidades especiais representam as capacidades que uma especialização precisa dominar além de sua função principal. No exemplo de uma IA para gerar código de um projeto bancário, além da geração de código, são necessárias habilidades como leitura e interpretação de arquivos e código.
43:30 – 44:52Assistir
Como definir as habilidades para especializar um modelo
A conversa mostra que uma boa especialização começa por decompor o objetivo em habilidades explícitas, como gerar código, analisar dependências e entregar arquivos prontos para uso. Em seguida, os participantes comparam respostas de modelos para avaliar qual abordagem atende melhor à necessidade, reconhecendo que essa avaliação envolve critérios subjetivos.
44:53 – 48:41Assistir
Comparando modelos na prática
Os participantes demonstram uma comparação lado a lado entre modelos, discutindo diferenças de qualidade, detalhamento, contexto disponível, facilidade de integração e adequação a tarefas de análise de vulnerabilidades e geração de código. O trecho também alerta para o uso cuidadoso de benchmarks e conclui que a ferramenta permite testar modelos rapidamente, sem implementá-los previamente.
48:41 – 56:24Assistir
Perguntas desta sessão
O que são habilidades especiais em uma especialização de modelo e quais comportamentos devem ser definidos?
Habilidades especiais correspondem aos comportamentos que a especialização precisa apresentar. A definição deve ir além da dinâmica lúdica e considerar cuidadosamente quais comportamentos são necessários para o objetivo do modelo.
10:47 – 11:14Assistir
Qual modelo de linguagem foi usado na solução da plataforma de estudos e quais ferramentas foram utilizadas no desenvolvimento?
Foi utilizado o Gemini dentro da IDE Antigravity, uma ferramenta do Google com interface semelhante à do VS Code. A solução também foi configurada com uma persona, dados e instruções específicas para orientar o modelo.
21:06 – 21:52Assistir
Por que um modelo especializado em código pode não ser a melhor opção para entender a arquitetura de um sistema?
Modelos treinados especificamente com código tendem a gerar código melhor, mas podem não compreender tão bem arquiteturas e conceitos gerais. Um modelo generalista, mesmo com tamanho semelhante, pode ter sido treinado com exemplos mais amplos e apresentar resultados superiores para analisar a arquitetura.
32:33 – 33:28Assistir
Como usar o recurso de embeddings do Spring AI?
É possível consultar a documentação do Spring AI com um modelo de embeddings para obter informações sobre recursos como o embed response. Assim, a aplicação recupera a explicação diretamente da documentação, em vez de o modelo inventar a resposta.
33:49 – 34:03Assistir
Como comparar dois modelos de linguagem antes de integrá-los a uma solução de análise de vulnerabilidades de código?
É possível executar o mesmo teste com os dois modelos e comparar lado a lado as respostas, avaliando qual apresenta melhor desempenho para o caso de uso antes de investir na implementação. Isso evita descobrir posteriormente que o modelo escolhido não é adequado.
51:45 – 52:13Assistir
Como escolher um modelo de linguagem para gerar código?
Compare modelos lado a lado usando um mesmo teste e considere o caso de uso, a qualidade esperada, o custo, a latência e as limitações de contexto e tokens. A comparação ajuda a selecionar o modelo mais adequado para a tarefa.
53:27 – 53:50Assistir
Por onde começar para analisar e avaliar as vulnerabilidades de um código?
É possível começar com listas e recomendações de análise, como os pontos do OWASP, mas a avaliação é subjetiva e depende do uso e do nível de resposta esperado. Antes de selecionar ou construir a solução, é importante definir claramente as expectativas e as habilidades necessárias.
53:58 – 54:51Assistir
Como comparar modelos de linguagem de forma rápida e sem viés?
Ferramentas de comparação permitem testar modelos lado a lado, usando o mesmo contexto e sem precisar instalar ou configurar cada modelo individualmente. Elas também ajudam a conhecer modelos novos e realizar uma seleção mais rápida.
55:43 – 56:19Assistir