Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

Modelo Local versus API Paga

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Modelo local versus API paga é a escolha entre rodar um LLM na própria máquina, sem custo por token e com dados privados, e usar uma API na nuvem, mais rápida e capaz, porém com custo e exposição de dados.

A escolha aparece assim que exemplos de ferramentas de IA pedem chave de API paga. Rodar local, com o Ollama, zera o custo financeiro e mantém os dados na máquina, mas transfere o custo para o hardware. A decisão não precisa valer para o projeto inteiro: cada etapa ou agente pode usar o lado que fizer mais sentido.

Custo: tokens de um lado, máquina do outro

Numa API paga, cada chamada consome tokens faturados. Testes exploratórios pontuais custam muito pouco, na ordem de frações de centavo, e uma sequência de requisições de teste pode não chegar a um dólar. O risco está nos processos que se repetem sem controle: um bot ou um loop infinito chamando a API gera custo alto muito rápido. Por isso, chaves compartilhadas por um time devem ficar restritas a testes pontuais.

O caso inverso mostra a vantagem local: um processo de pesquisa e vetorização que rodou cerca de uma hora e meia, gerando milhares de tokens, não custou nada na CPU e teria saído caro numa API. Ferramentas como o Aider ajudam a controlar o lado pago: mostram tokens enviados, tokens recebidos e o custo estimado em dólar de cada interação. Vale checar o preço do modelo antes de usá-lo à vontade, já que modelos leves, como os da linha flash, costumam ser bem mais baratos.

Desempenho: CPU, GPU e tamanho do modelo

Sem GPU compatível, o modelo roda na CPU e a máquina fica sobrecarregada. Numa comparação da mesma requisição, a máquina sem GPU compatível gerou cerca de 16 tokens por segundo, e a máquina com uma RTX 3050 gerou cerca de 60. O Ollama reconhece GPUs NVIDIA de forma nativa. GPUs AMD pedem configuração adicional, e placas mais antigas, como a RX 580, podem nem constar da lista de suporte. Resposta lenta também pode fazer a requisição desistir por tempo esgotado se o fluxo não tratar isso.

O tamanho do modelo, em bilhões de parâmetros, define a memória necessária: a referência é ter pelo menos o dobro em GB de RAM, então um modelo de 7B pede 14 GB. O Llama 3.2 na versão padrão, com cerca de 2 GB, é um ponto de partida viável para testes e lida bem com perguntas curtas, mas sofre com textos longos. Para tarefas maiores, os resultados via API tendem a ser bem superiores. Os detalhes de hardware estão em Dimensionamento de Hardware para Modelos Locais.

Privacidade: o que não enviar para uma IA de uso geral

A razão mais forte para rodar local é não expor dados. O modelo local não precisa de internet e não envia nada a provedores como OpenAI, Google ou Meta. Já uma IA generativa de uso geral pode reutilizar o conteúdo das conversas como dado de treinamento de versões futuras, e esse conteúdo pode reaparecer em respostas a outras pessoas que perguntem sobre temas próximos.

Nunca suba um projeto real sem limpar os segredos

Antes de enviar código de trabalho para uma IA na nuvem, remova ou mascare senhas de banco, chaves de API, comentários sensíveis e dados de teste reais. Um projeto de exemplo público, como o Petstore da Swagger, tem risco baixo porque já é público.

Trocar entre local e nuvem sem reescrever

Ferramentas que aceitam os dois lados reduzem o custo da decisão. O Ollama serve de base para que Continue e Aider usem modelos locais no lugar de APIs pagas. O Aider troca de provedor por um parâmetro de linha de comando e guarda as chaves e o endereço base do Ollama num arquivo .env, em vez de expô-los no terminal. Assim dá para aplicar a Seleção de Modelo por Tarefa: um agente gerente que só coordena a delegação dispensa um modelo potente e caro, e um modelo local pequeno resolve. O limite é a língua e a tarefa: o Qwen analisa bem código, mas responde pior em português.