Modelos de Linguagem Locais em Agentes
Ir para notas que citam estaModelos de Linguagem Locais em Agentes são LLMs executados na própria máquina, sem API paga na nuvem, usados pelo agente para conversar, gerar embeddings ou programar.
A motivação é tirar o agente da dependência de um provedor pago: cada chamada deixa de gerar fatura e o modelo fica sob controle de quem o roda. O limite muda de lugar. Com modelo local, o gargalo deixa de ser o dinheiro gasto em API e passa a ser o hardware, sobretudo memória e placa de vídeo, que no fim também é dinheiro. Ferramentas agnósticas de modelo aceitam esse tipo de provedor: no DeepSeek Harness, um provedor customizado aponta para o modelo servido localmente, por exemplo via Ollama.
Onde o modelo local funciona bem
Em automações no N8N, um único modelo local pequeno pode fazer dois papéis: gerar os Embeddings da base de conhecimento e conversar como modelo dos agentes. Essa economia de configuração funciona para tarefas pequenas e bem delimitadas, como tirar uma dúvida de código, mas a resposta é perceptivelmente mais lenta que a de uma API na nuvem, e atividades complexas podem não ser viáveis, dependendo da máquina.
Em agentes de código, o resultado depende muito do harness em volta. Num teste de gerar um jogo simples a partir de um único prompt, um modelo local rodando dentro do DeepSeek Harness terminou em cerca de 12 a 15 minutos com um jogo jogável e uma pequena falha visual. O mesmo pedido pelo OpenCode saiu pior e mais caro, porque o prompt inicial da ferramenta ocupa sozinho cerca de 18 mil tokens de contexto antes de qualquer trabalho. Modelos locais levam vantagem quando o harness gasta pouco contexto próprio, o que liga o tema a Custo de Tokens.
Janela de contexto e limite de saída
Dois limites diferentes derrubam execuções longas, e confundi-los leva à correção errada.
- Janela de contexto: o total que o modelo comporta de entrada acumulada. Se uma implementação chega a algo como 170 mil tokens e a janela do modelo vai até cerca de 115 mil, a execução quebra no meio e não termina.
- Limite de saída: o máximo que o modelo gera numa resposta. Com contexto de sobra, o modelo ainda pode parar antes de concluir.
Um caso típico foi o de um modelo local que gerava um jogo e quebrou perto do final por falta de janela de saída. A compactação de contexto do harness não evita esse erro, porque o problema não é contexto cheio.
Ferramentas de execução local, como o LM Studio, costumam configurar por padrão um limite de saída de 4096 tokens. Ao subir o modelo, elevar esse valor para 16 mil ou mais reduz o risco de ele morrer no meio de uma geração longa.
O custo em hardware
Rodar um modelo de algumas dezenas de bilhões de parâmetros numa máquina de trabalho aquece o equipamento, acelera as ventoinhas e disputa recursos com o resto: uma chamada de voz aberta ao mesmo tempo começou a travar. Modelos da faixa de 32 bilhões de parâmetros chegam a rodar na memória RAM, com esforço, e, depois de otimizado, o modelo que concluiu o jogo jogável rodou numa placa de vídeo doméstica de 3 GB. O tamanho viável é o maior que a máquina aguenta junto com o que mais estiver rodando nela.