Tech Talk SLM on Device Modelos de Linguagem Pequenos no Dispositivo (2026-07-13)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou os Small Language Models (SLMs), modelos de linguagem menores, geralmente com centenas de milhões a alguns bilhões de parâmetros, voltados para execução local em celulares, notebooks, navegadores e outros dispositivos com recursos limitados. Foram destacados como benefícios a baixa latência, o funcionamento offline, a privacidade, o menor custo de inferência e a possibilidade de uso em aplicações específicas, como correção de textos, atendimento local, jogos, dispositivos domésticos e filtragem de conteúdo. Em contrapartida, SLMs têm menor capacidade de contexto e raciocínio complexo, podendo apresentar mais alucinações, especialmente quando usados em tarefas genéricas. A especialização, a destilação a partir de modelos maiores, a poda de parâmetros, adapters e fine-tuning foram discutidos como formas de melhorar sua eficiência.