Execução Local de Modelos de Linguagem
Ir para notas que citam estaExecução local de modelos de linguagem é rodar o modelo na própria máquina, sem API externa: ganha-se privacidade e custo previsível, em troca de hardware compatível e modelos menores.
A motivação principal é controle. Os dados não saem do dispositivo, o que permite usar modelos abertos, inclusive multimodais, sem ceder informação a terceiros. Não há cobrança por token nem dependência de um provedor que pode mudar ou ficar instável. O preço é que a qualidade da resposta passa a ser proporcional ao tamanho do modelo que a máquina aguenta, e por isso a execução local anda junto com o Small Language Model e com a Quantização dos pesos.
Também é um jeito barato de desenvolver: testar a aplicação contra um modelo local e só depois apontá-la para um serviço pago evita gastar créditos na fase de experimentação.
Ferramentas para servir o modelo
- LM Studio e Ollama são as opções mais simples de instalar. O LM Studio permite definir quanto do processamento vai para a GPU e quanto vai para a CPU. O Ollama expõe uma API no formato da OpenAI, o que deixa redirecionar para o modelo local a mesma integração usada com um serviço de nuvem.
- llama.cpp foi o projeto pioneiro que tornou viável rodar modelos de linguagem numa máquina comum. É indicado para quem tem mais familiaridade técnica.
Quanto de máquina é preciso
Uma regra de triagem usada na prática é reservar pelo menos cerca de 756 MB de memória de vídeo por bilhão de parâmetros. Nessa conta, um modelo de 7 bilhões pede uma placa com uns 6 GB de VRAM, e uma placa de 8 GB dá uma margem confortável para experimentar. O que não cabe na placa transborda para a RAM: com muita memória, até 128 GB, o modelo roda, mas fica bem mais lento. Os detalhes de CPU, GPU e NPU e da memória de trabalho estão em Dimensionamento de Hardware para Modelos Locais. Para testes pontuais, pagar por uma API continua sendo alternativa a comprar hardware.
Vários modelos pequenos, cada um com um papel
Localmente, raramente se usa um modelo só. Num Pipeline de RAG local, o arranjo típico tem um modelo muito pequeno, na casa de 1 bilhão de parâmetros e com suporte a ferramentas, só para ler o prompt e identificar do que o usuário precisa; um modelo de embedding, como o BGE-M3, na casa de centenas de milhões de parâmetros; um modelo de visão pequeno para descrever imagens; e o modelo que gera a resposta.
Com o RAG recuperando os trechos corretos, um modelo local de cerca de 3 bilhões de parâmetros ainda pode tomar um rumo inesperado ou responder de forma genérica que não tem informação suficiente. Quando a resposta sai ruim, o problema pode ser a capacidade do modelo de interpretar o volume de texto recebido (prompt de sistema, pergunta e contexto), e não a recuperação.
Padrões de implantação
- Totalmente no dispositivo: privacidade máxima e menor latência, com capacidade menor e risco de estourar o contexto em conversas longas.
- Híbrido: parte do processamento local e parte na nuvem, escolhendo o que enviar. Ganha capacidade à custa de um pouco de velocidade, por exemplo com um modelo de 7 bilhões local combinado a um de 8 bilhões na nuvem.
- RAG local: um índice de busca dentro do próprio aparelho, 100% offline, sobre os dados do usuário.
- Ferramentas: o modelo local aciona uma busca online quando há conexão, enviando para fora só a consulta, nunca os dados do usuário.
- Agentes de ferramentas: o modelo aciona aplicativos e ações do próprio dispositivo sem que a informação saia dele.
A escolha é um equilíbrio entre privacidade, latência, custo e o tamanho de contexto que a aplicação exige.