Pular para o conteúdo
LabS Atlas
Agentic AI
Entrar

Small Language Model

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Small Language Model (SLM) é um modelo de linguagem com poucos parâmetros, mais barato e rápido, indicado para tarefas simples e pontuais, em contraste com os LLMs de bilhões de parâmetros.

A distinção entre SLM e LLM é uma escolha de arquitetura, não de qualidade absoluta. Um modelo grande raciocina mais e aguenta mais contexto, mas cobra por isso em custo e latência. Um modelo pequeno responde rápido e barato, e em muitos casos cabe na própria máquina, o que abre caminho para os modelos locais. O critério é o tamanho da tarefa: não faz sentido pagar um modelo grande para algo minúsculo, nem entregar a um modelo pequeno algo que exige muito contexto.

Porte, custo e latência

Entre os modelos grandes citados como referência estão o GPT-4 e o Llama 3.1, este na versão de 405 bilhões de parâmetros. Entre os menores, Phi-3 e Gemma 2. As diferenças práticas se resumem a três eixos: o SLM custa menos, tem outra latência e raciocina menos, porque tem menos parâmetros para raciocinar.

No extremo, existem modelos tão pequenos que só sabem cumprimentar e se despedir, a um custo que não chega a centavos. Usar um modelo grande para responder a uma saudação é gastar muito mais pela mesma resposta, um desperdício que entra direto no Custo de Tokens do sistema.

Estratégia híbrida em sistemas de agentes

Em Sistemas Multiagente, a recomendação é misturar portes. Um modelo grande fica com as etapas que exigem planejamento e o máximo de informação; modelos pequenos resolvem as tarefas pontuais dentro desse plano. É a mesma lógica da Seleção de Modelo por Agente: cada agente recebe o modelo adequado ao seu papel, e não o mais poderoso disponível.

Onde o modelo pequeno falha

O limite principal é o contexto. Numa tarefa ampla como planejar uma viagem, dividida em buscar voo, reservar hotel e montar roteiro, um modelo pequeno pode chegar à última etapa sem lembrar das anteriores e se perder: roteiro para onde, a partir de que voo. Pelo mesmo motivo, padrões que pedem muito contexto e ciclos longos de pensar e agir, como o ReAct descrito em Padrões de Raciocínio de Agentes, funcionam melhor com modelos mais robustos.

Idioma

Modelos na faixa de 3 a 7 bilhões de parâmetros tendem a processar o raciocínio internamente em inglês mesmo quando perguntados em português, e às vezes misturam idiomas na resposta final.