Modelo Local versus API Paga
Ir para notas que citam estaModelo local versus API paga é a escolha entre rodar um LLM na própria máquina, sem custo por token e com dados privados, e usar uma API na nuvem, mais rápida e capaz, porém com custo e exposição de dados.
A escolha aparece assim que exemplos de ferramentas de IA pedem chave de API paga. Rodar local, com o Ollama, zera o custo financeiro e mantém os dados na máquina, mas transfere o custo para o hardware. A decisão não precisa valer para o projeto inteiro: cada etapa ou agente pode usar o lado que fizer mais sentido.
Custo: tokens de um lado, máquina do outro
Numa API paga, cada chamada consome tokens faturados. Testes exploratórios pontuais custam muito pouco, na ordem de frações de centavo, e uma sequência de requisições de teste pode não chegar a um dólar. O risco está nos processos que se repetem sem controle: um bot ou um loop infinito chamando a API gera custo alto muito rápido. Por isso, chaves compartilhadas por um time devem ficar restritas a testes pontuais.
O caso inverso mostra a vantagem local: um processo de pesquisa e vetorização que rodou cerca de uma hora e meia, gerando milhares de tokens, não custou nada na CPU e teria saído caro numa API. Ferramentas como o Aider ajudam a controlar o lado pago: mostram tokens enviados, tokens recebidos e o custo estimado em dólar de cada interação. Vale checar o preço do modelo antes de usá-lo à vontade, já que modelos leves, como os da linha flash, costumam ser bem mais baratos.
Desempenho: CPU, GPU e tamanho do modelo
Sem GPU compatível, o modelo roda na CPU e a máquina fica sobrecarregada. Numa comparação da mesma requisição, a máquina sem GPU compatível gerou cerca de 16 tokens por segundo, e a máquina com uma RTX 3050 gerou cerca de 60. O Ollama reconhece GPUs NVIDIA de forma nativa. GPUs AMD pedem configuração adicional, e placas mais antigas, como a RX 580, podem nem constar da lista de suporte. Resposta lenta também pode fazer a requisição desistir por tempo esgotado se o fluxo não tratar isso.
O tamanho do modelo, em bilhões de parâmetros, define a memória necessária: a referência é ter pelo menos o dobro em GB de RAM, então um modelo de 7B pede 14 GB. O Llama 3.2 na versão padrão, com cerca de 2 GB, é um ponto de partida viável para testes e lida bem com perguntas curtas, mas sofre com textos longos. Para tarefas maiores, os resultados via API tendem a ser bem superiores. Os detalhes de hardware estão em Dimensionamento de Hardware para Modelos Locais.
Privacidade: o que não enviar para uma IA de uso geral
A razão mais forte para rodar local é não expor dados. O modelo local não precisa de internet e não envia nada a provedores como OpenAI, Google ou Meta. Já uma IA generativa de uso geral pode reutilizar o conteúdo das conversas como dado de treinamento de versões futuras, e esse conteúdo pode reaparecer em respostas a outras pessoas que perguntem sobre temas próximos.
Antes de enviar código de trabalho para uma IA na nuvem, remova ou mascare senhas de banco, chaves de API, comentários sensíveis e dados de teste reais. Um projeto de exemplo público, como o Petstore da Swagger, tem risco baixo porque já é público.
Trocar entre local e nuvem sem reescrever
Ferramentas que aceitam os dois lados reduzem o custo da decisão. O Ollama serve de base para que Continue e Aider usem modelos locais no lugar de APIs pagas. O Aider troca de provedor por um parâmetro de linha de comando e guarda as chaves e o endereço base do Ollama num arquivo .env, em vez de expô-los no terminal. Assim dá para aplicar a Seleção de Modelo por Tarefa: um agente gerente que só coordena a delegação dispensa um modelo potente e caro, e um modelo local pequeno resolve. O limite é a língua e a tarefa: o Qwen analisa bem código, mas responde pior em português.