Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Small Language Model

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Small Language Model (SLM) é um modelo de linguagem de poucos bilhões de parâmetros, projetado para rodar em dispositivos com pouco processamento e memória. A ordem de grandeza usada como referência vai de cerca de 0,5 a 8 bilhões de parâmetros, contra dezenas ou centenas de bilhões de um modelo de larga escala.

O SLM existe para atender a aplicações que não precisam da capacidade completa de um LLM e que ganham mais em latência, privacidade e custo do que perderiam em profundidade de raciocínio. Como a inferência acontece dentro do aparelho, não há chamada de rede no caminho da resposta, o dado do usuário não sai do dispositivo e não há cobrança por token de um provedor externo — um ponto que pesa cada vez mais à medida que o custo por token dos serviços em nuvem sobe. Depois que o modelo é baixado, a aplicação também funciona offline, o que abre espaço para dispositivos embarcados e cenários sem qualquer conexão, como nano robótica.

O que muda em relação a um modelo de larga escala

Um modelo grande depende de requisições constantes a um provedor, sustenta um histórico de conversa muito mais longo e é treinado sobre uma base de dados muito mais ampla. Um modelo pequeno inverte esses termos: menos parâmetros, contexto mais curto, dados de treino mais direcionados e um comportamento que funciona melhor quando o escopo da tarefa é estreito. Uma aplicação de escrita embarcada no próprio notebook, que sugere reescrita de parágrafos sem internet, é o tipo de uso em que essa troca compensa.

Nenhum dos dois é bala de prata: a escolha depende do equilíbrio entre eficiência e desempenho que a aplicação exige. O argumento a favor do modelo pequeno é também de acesso, já que rodar um modelo grande na própria máquina exige hardware caro, enquanto um modelo de poucos bilhões de parâmetros cabe em equipamento comum — um chat funcional chegou a rodar com um modelo de cerca de 0,5 GB.

Como um modelo pequeno é construído

O ponto de partida costuma ser um modelo maior já treinado. A destilação transfere o comportamento desse professor para o modelo aluno, que passa a imitá-lo com muito menos parâmetros. Em seguida vem a poda, depois o ajuste fino por LoRA com adapters específicos de domínio, depois a compressão por Quantização e, por fim, a conversão para o formato de empacotamento do dispositivo alvo. Cada etapa responde a uma restrição diferente: qualidade herdada, enxugamento, especialização, tamanho em memória e compatibilidade de execução.

Poda de parâmetros depois do treinamento

Pruning, ou poda, é a remoção de parâmetros pouco relevantes e de conexões desnecessárias que sobraram do treinamento. Ela é quase inevitável em modelos destilados: o professor repassa informação que não serve ao recorte de uso do aluno, e esse excesso custa memória e processamento sem devolver qualidade. A poda pode envolver otimização manual, em que se testa o modelo, observa-se comportamento que não agrega à tarefa e ajusta-se o modelo a partir desses testes, até que ele fique o mais eficiente possível dentro do tamanho que tem.

O que se perde ao escolher um modelo pequeno

O modelo pequeno tem um teto de raciocínio complexo: por não carregar o contexto completo do modelo que o ensinou, ele trava a partir de certo nível de encadeamento. Falha mais em matemática longa e em geração de código, tem janela de contexto mais curta e é mais propenso a alucinar quando perguntado sobre o que não aprendeu. Rodar tudo localmente também custa bateria e calor, e um modelo embarcado em equipamento sem conexão é difícil de atualizar depois, o que torna o versionamento anterior ao embarque uma decisão de projeto.

Dimensione a tarefa antes do modelo

A recomendação prática é avaliar a complexidade real da tarefa e só então escolher a faixa de parâmetros — um modelo de 4 bilhões para o que é simples, um maior quando a tarefa pede. O hardware disponível fecha a conta, porque limita o tamanho e o nível de compressão viáveis.