Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

Dimensionamento de Hardware para Modelos Locais

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Dimensionamento de hardware para modelos locais é estimar a VRAM, a CPU e a RAM que um modelo exige a partir do seu tamanho em bilhões de parâmetros, sabendo que a GPU domina a inferência.

A pergunta aparece assim que alguém troca uma API paga por um modelo rodando na própria máquina via Ollama, escolha discutida em Modelo Local versus API Paga. O tamanho do modelo vem no nome, em "B" de bilhões de parâmetros (1.5B, 3B, 7B, 8B, 14B), e é a partir dele que se decide se a máquina aguenta, se vale um modelo menor ou se o trabalho deve ir para a nuvem.

Por que a GPU domina a inferência

Modelos de linguagem e bases vetoriais operam sobre grandes volumes de números decimais muito pequenos. A GPU é feita para processar esse tipo de cálculo em ponto flutuante de forma massivamente paralela; a CPU não. Por isso uma GPU modesta, de 2 GB, chegou a superar um processador i7 nesse trabalho. Um comparativo entre duas máquinas mostrou cerca de 16 tokens por segundo sem GPU compatível contra cerca de 60 tokens por segundo com uma RTX 3050.

Regras práticas de VRAM e RAM

Duas regras aproximadas servem de ponto de partida:

  • VRAM: em GB, cerca de metade do número de bilhões de parâmetros. Um modelo de 8B pede por volta de 4 GB; um de 16B, por volta de 8 GB. Na prática convém folga: um 8B roda com mais conforto numa placa de 6 a 8 GB.
  • RAM: para rodar sem depender da GPU, pelo menos o dobro do número de bilhões de parâmetros em GB. Um modelo de 7B pede no mínimo 14 GB.

No Windows, 16 GB de RAM é o mínimo relatado e 32 GB o ideal; com 16 GB, carregar um modelo de 8B junto com um modelo de embedding maior trava por falta de memória. No outro extremo, um modelo como o Llama de 405B está fora de alcance de uma máquina pessoal, porque exigiria várias placas de 80 GB.

As regras valem para texto

Modelos que lidam com imagem consomem muito mais recursos que os de texto, porque precisam de muito mais contexto de processamento. Para eles, a conta de VRAM por parâmetro subestima o necessário.

CPU, placas compatíveis e divisão de carga

Mesmo com GPU, parte do trabalho fica na CPU: uma divisão observada foi de cerca de 70% na GPU e 30% na CPU, sendo essa fatia da CPU a sobrecarga de gerenciar a memória de vídeo. Por isso o processador importa. A recomendação é pelo menos 8 núcleos; a troca de um i5 por um i7 muda a experiência de forma perceptível, um Ryzen 5 5600 de 6 núcleos roda modelos pequenos sem sofrimento, e com poucos núcleos o carregamento leva uma eternidade.

Nem toda placa serve. Na Nvidia, a referência mínima é a série GeForce 1050, e uma 1660 já roda bem. Na AMD, só as gerações mais recentes, da faixa da RX 6800 para cima, têm os núcleos de computação necessários; uma RX 580 não tem suporte e o modelo cai para a CPU.

O que aumenta o consumo além do tamanho

A regra de VRAM descreve o modelo com a configuração padrão. Aumentar a janela de contexto faz um 8B que caberia em 4 GB passar a usar 6 GB ou mais, e esse crescimento não é linear: dobrar esse valor pode mais que dobrar o consumo. Rodar vários modelos ao mesmo tempo, como chat, embedding e autocomplete no Continue, divide a mesma GPU e sobrecarrega a máquina.

Para hardware modesto, a saída é escolher modelos compactos. O Phi-3, de cerca de 3B, roda bem em CPU com 16 GB de RAM; o Llama 3.2 de 3B é bom para chat; e modelos de embedding, na casa das centenas de milhões de parâmetros, são leves o bastante para rodar localmente sem custo alto.