Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Tech Talk SLM on Device Modelos de Linguagem Pequenos no Dispositivo (2026-07-13)

13 jul 20261h 13min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou os Small Language Models (SLMs), modelos de linguagem menores, geralmente com centenas de milhões a alguns bilhões de parâmetros, voltados para execução local em celulares, notebooks, navegadores e outros dispositivos com recursos limitados. Foram destacados como benefícios a baixa latência, o funcionamento offline, a privacidade, o menor custo de inferência e a possibilidade de uso em aplicações específicas, como correção de textos, atendimento local, jogos, dispositivos domésticos e filtragem de conteúdo. Em contrapartida, SLMs têm menor capacidade de contexto e raciocínio complexo, podendo apresentar mais alucinações, especialmente quando usados em tarefas genéricas. A especialização, a destilação a partir de modelos maiores, a poda de parâmetros, adapters e fine-tuning foram discutidos como formas de melhorar sua eficiência.

Gerado por IA a partir da transcrição.
Capítulos · 21
00:15
Abertura e contexto da sessão
Assistir
01:29
Introdução aos modelos SLM
Assistir
03:34
SLM on-device: conceito e benefícios
Assistir
13:04
Treinamento, destilação e especialização
Assistir
18:44
Quantização e impacto nos parâmetros
Assistir
22:21
Limitações, alucinações e conhecimento especializado
Assistir
25:01
Pruning, adapters e formatos de modelo
Assistir
25:01
Execução local: CPU, GPU e NPU
Assistir
25:01
Modelos locais, híbridos e RAG
Assistir
25:01
Trade-offs de contexto, energia e desempenho
Assistir
25:01
Ativações, memória e escalabilidade
Assistir
25:01
Aplicações práticas: jogos e assistentes locais
Assistir
48:56
Demonstração do OneDevice com inferência local
Assistir
56:23
Treinamento e especialização de SLMs
Assistir
57:54
Execução offline, cache e qualidade dos modelos
Assistir
1:00:52
SLM no frontend: client-side ou server-side?
Assistir
1:02:27
Processamento no navegador e registro das interações
Assistir
1:04:47
Aplicações práticas de IA client-side
Assistir
1:07:14
Modelos locais em navegadores e encerramento
Assistir
1:08:44
Repositório, chat da sessão e convite para workshop
Assistir
1:11:15
Orientações finais e encerramento
Assistir
Cortes · 9
O que são SLMs e por que usar modelos menores
A apresentação explica o conceito de Small Language Models, modelos com menos parâmetros voltados a dispositivos com poucos recursos. São discutidos os benefícios de baixa latência, processamento local, privacidade, funcionamento offline e menor custo, além das diferenças em relação aos LLMs.
03:34 – 13:02Assistir
Treinamento, especialização e quantização de SLMs
O trecho mostra como SLMs podem ser especializados para tarefas específicas, como revisão de textos, e explica a destilação de conhecimento de um modelo maior para um modelo menor. Também são apresentados critérios de escolha, como eficiência de recursos, arquitetura e quantização dos parâmetros.
13:04 – 18:39Assistir
Como a quantização afeta precisão e desempenho
A discussão esclarece como reduzir a quantidade de bits por parâmetro torna o modelo mais leve e rápido, mas pode causar perda de significado em conceitos abstratos. Os participantes explicam que o caminho de processamento permanece semelhante, enquanto o uso de memória diminui.
18:44 – 22:15Assistir
Limitações e alucinações em SLMs
O trecho aborda as limitações de modelos pequenos que não foram treinados diretamente com dados amplos, mas por destilação. Como possuem conhecimento mais restrito, SLMs podem ter mais dificuldade para diferenciar conceitos e apresentar mais alucinações do que modelos maiores.
22:21 – 25:00Assistir
Como otimizar e executar SLMs localmente
A sessão explica técnicas de otimização de SLMs, como pruning, LoRA/adapters e quantização, relacionando cada escolha ao hardware disponível, à memória, à velocidade e ao consumo de energia. Também são apresentados formatos e runtimes para execução local, além das diferenças entre modelos locais, híbridos, RAG offline e agentes com acesso a ferramentas.
25:01 – 48:54Assistir
Demonstração de um SLM rodando no navegador
É demonstrado um modelo executado localmente em uma aba do navegador com WebGPU, usando a GPU do computador e sem enviar as interações para um servidor. A apresentação mostra o carregamento dos pesos, o uso de cache, as métricas de tokens e o aumento do processamento da GPU durante as perguntas.
48:56 – 56:21Assistir
Especialização, qualidade e memória dos SLMs
A discussão esclarece que um SLM pode ser obtido reduzindo um modelo geral ou especializando-o para uma tarefa, como programação ou atendimento. Também são comparadas respostas de modelos com diferentes quantidades de parâmetros, destacando como especialização, tamanho e qualidade dos dados afetam erros, contexto e desempenho.
56:23 – 1:00:49Assistir
SLM client-side: processamento direto no navegador
A conversa explica a diferença entre executar o modelo em um backend local e diretamente no frontend, dentro do navegador. A demonstração carrega o modelo uma vez e realiza a inferência na máquina do usuário, mostrando as implicações para memória, hardware, privacidade e eventual necessidade de um backend separado para salvar dados.
1:00:52 – 1:04:44Assistir
Aplicações práticas de IA no lado do cliente
O grupo discute como SLMs client-side podem reduzir custos de servidor e preservar a privacidade ao processar dados diretamente no dispositivo. São apresentados exemplos de atendimento local e de modelos pequenos usados no navegador para classificar sentimentos e filtrar conteúdo nocivo antes que os comentários sejam enviados.
1:04:47 – 1:07:14Assistir
Perguntas desta sessão
Como a quantização reduz o tamanho e o custo de processamento de um SLM, e qual é o impacto disso na capacidade de compreender e responder?
A quantização usa menos bits por parâmetro, reduzindo o consumo de memória e o custo de processamento. O modelo mantém os mesmos caminhos de decisão, mas pode perder parte do significado ou da precisão, especialmente em conceitos abstratos; em tarefas especializadas, essa perda tende a ser mais sutil. A redução de memória pode acelerar a inferência significativamente.
18:44 – 20:21Assistir
Um SLM quantizado ainda consegue diferenciar conceitos próximos, mesmo usando menos bits por parâmetro?
Sim, dependendo da especificação e do treinamento do modelo. Pode haver perda perceptível em conceitos abstratos, mas, quando o SLM é especializado em uma tarefa, a redução de bits costuma causar um impacto menor na diferenciação entre conceitos.
20:24 – 21:21Assistir
Como um modelo de linguagem grande pode ser usado para criar um SLM: reduzindo o modelo geral ou especializando-o para uma área, como programação em Java ou atendimento de tickets?
As duas abordagens são possíveis: reduzir um modelo generativo geral ou especializá-lo para uma tarefa específica. A especialização costuma ser mais eficiente, embora um SLM generalista também possa ser criado, com maior risco de alucinações.
56:37 – 57:52Assistir
Na demonstração do chatbot local no navegador, o modelo e as respostas são processados usando os recursos do próprio computador, sem requisições externas?
Sim. Após baixar os pesos do modelo, o processamento ocorre localmente, usando os recursos do dispositivo, e o navegador não faz novas requisições externas para gerar as respostas.
58:02 – 58:25Assistir
Na demonstração do SLM no navegador, o modelo pode ser executado client-side, diretamente no frontend do dispositivo, sem um backend para processar as interações?
Sim. A aplicação serve principalmente para carregar o modelo; depois, a interação ocorre pelo HTML e JavaScript, enquanto o processamento é feito localmente entre o modelo e a GPU. Não há necessidade de um backend para a inferência, embora um backend ainda possa ser usado para registrar mensagens ou outros dados.
1:01:40 – 1:04:44Assistir
É viável executar um SLM completamente no navegador, no lado do cliente?
Sim. Executar um SLM no navegador pode atender aplicações como atendimento ao cliente diretamente no computador do usuário, reduzindo a carga e os custos de recursos do servidor. A limitação é que dispositivos mais fracos podem não conseguir executar o modelo, embora essa restrição tenda a diminuir com a evolução do hardware.
1:05:05 – 1:05:53Assistir