Dimensionamento de Hardware para Modelos Locais
Ir para notas que citam estaDimensionamento de hardware para modelos locais é a estimativa da memória e do processador necessários para rodar um modelo na própria máquina, a partir da quantidade de parâmetros e do formato dos pesos.
É a conta que separa um modelo que roda bem de um modelo que baixa e trava. Como a execução local não tem um provedor absorvendo o custo de infraestrutura, todo limite de memória e de processamento aparece diretamente na velocidade da resposta — ou na impossibilidade de obtê-la.
O que muda entre CPU, GPU e NPU
Rodar em CPU é o modo mais lento, e ainda assim suficiente para modelos muito pequenos: não é obrigatório ter placa dedicada para executar um modelo pequeno. A GPU processa os parâmetros com muito mais velocidade, sobretudo pela VRAM, a memória dedicada da placa.
A NPU é um chip voltado a inferência de IA, presente em notebooks com as gerações mais recentes de processadores. Não substitui uma GPU para jogos, mas oferece uma quantidade grande de memória dedicada a um custo de fabricação menor, com consumo de energia e geração de calor mais baixos — o que a torna adequada justamente ao cenário de um modelo rodando no aparelho do usuário por longos períodos.
Velocidade sem memória não resolve: uma GPU rápida com apenas 8 GB sofre limitação de desempenho do mesmo jeito. Memória é restrição independente do tipo de processador.
Peso fixo do modelo mais a memória de trabalho
O cálculo precisa somar dois blocos. O primeiro é o peso fixo do modelo em disco e em memória. O segundo é a área de cache que cresce enquanto o modelo processa a resposta. Um modelo de 2 GB pode exigir cerca de 3 GB adicionais para o processamento; se essa folga não existir, a geração simplesmente não termina.
Como regra de bolso aproximada, circula a estimativa de cerca de meio giga de memória por bilhão de parâmetros, o que colocaria um modelo de 20 bilhões perto de 10 GB. O número serve como triagem grosseira, não como especificação: o formato dos pesos escolhido na Quantização muda a conta inteira.
Escolher o modelo pelo que a máquina aguenta
Conferir o tamanho do arquivo antes de baixar evita o erro mais comum: um modelo de dezenas de gigabytes é baixável em qualquer máquina e executável em pouquíssimas. As bibliotecas de distribuição costumam marcar cada variante com o nível de quantização e com o suporte a chamada de ferramentas, e essas marcações são o filtro inicial de viabilidade.
Vale também observar onde o modelo está de fato rodando. Uma configuração com 32 GB de memória e uma placa de vídeo de 4 GB pode acabar dividindo a carga entre GPU e CPU, e essa divisão — na ordem de 80% para a placa e 20% para o processador em um caso observado — já é suficiente para deixar a resposta perceptivelmente mais lenta. Atualizações do runtime podem alterar essa divisão sem aviso.
Formatos de empacotamento e runtimes de execução
O formato em que o modelo é empacotado determina onde ele consegue rodar. O formato do llama.cpp é o mais simples e multiplataforma, pensado para executar em vários tipos de dispositivo sem configuração elaborada. O ONNX Runtime é mais acelerado, porém específico por tipo de processador: um pacote gerado para GPU roda só em GPU, um gerado para CPU roda só em CPU — e também atende celular e navegador. O MLC compila o modelo diretamente para o hardware alvo, abordagem adequada a equipamento embarcado que nunca terá acesso à internet e cujo processador é conhecido de antemão.
No desktop, Ollama e LM Studio cobrem o caso de quem quer testar modelos locais; o segundo permite definir quanto do processamento vai para a GPU e quanto vai para a CPU, o que ajuda a encontrar o ponto de equilíbrio de cada máquina.