Execução de Modelos de Linguagem no Navegador
Ir para notas que citam estaExecução de modelos de linguagem no navegador é rodar a inferência inteiramente na aba do cliente, usando APIs como WebGPU para acessar a GPU local, sem nenhuma chamada a servidor depois do download do modelo.
É o caso mais radical de execução local: não há aplicativo a instalar nem runtime a configurar, apenas uma página que baixa os pesos e passa a conversar com a máquina de quem a abriu. Para um modelo pequeno, essa forma de distribuição elimina de uma vez o custo de servidor de inferência e o trânsito dos dados do usuário pela rede.
Como o modelo chega à aba e passa a rodar sem rede
A página começa estática. Na primeira interação, ela baixa todos os pesos do modelo de uma vez por meio de um engine de carregamento, e esses pesos ficam em cache no navegador. Dali em diante, a inferência acontece entre a GPU e o modelo carregado, e a interface volta a ser HTML e JavaScript comuns — a camada de backend deixa de existir para esse fluxo.
O comportamento é verificável na própria ferramenta de desenvolvedor: depois da requisição inicial de download, a aba de rede não registra novas chamadas durante a conversa, enquanto o monitor de processos mostra o uso de GPU subir a cada pergunta. O suporte a WebGPU existe nos principais navegadores, com variação de maturidade entre eles, e há outras bibliotecas de inferência client-side além dela, incluindo implementações baseadas em Transformers.js e em runtimes portados para a web.
Limites do que roda na máquina do visitante
O fator limitante é o dispositivo de quem acessa, não a arquitetura. O modelo precisa caber na memória que o navegador concede à aba e o processamento disponível define se a resposta sai em tempo aceitável — por isso dois usuários com o mesmo site têm experiências de desempenho diferentes. Modelos da ordem de meio gigabyte já ficam dentro do orçamento típico de uma aba, o que já torna a abordagem viável e amplia seu alcance conforme o parque de máquinas melhora.
Outro limite é a persistência. Por padrão, a conversa vive apenas no cache do navegador e se perde quando a aba fecha; guardar histórico exige um mecanismo adicional construído por fora, que necessariamente reintroduz algum componente de servidor no desenho.
Como o texto do usuário nunca sai do dispositivo, a superfície de exposição de dados fica restrita à máquina dele — o mesmo motivo pelo qual o desenho reduz a fatura de infraestrutura.
Onde a abordagem compensa
O caso mais direto é a triagem de conteúdo antes do envio: um modelo pequeno rodando na página analisa o sentimento de um comentário e filtra palavras nocivas antes que ele seja publicado, substituindo expressões regulares por compreensão de contexto e sem que o texto original trafegue. Atendimento ao cliente executado na máquina do visitante segue a mesma lógica e alivia o servidor de um volume de inferência que, em nuvem, seria cobrado por token.
Navegadores já experimentaram baixar modelos pequenos nas máquinas dos usuários para economizar processamento do lado do servidor, e produtos com chatbot especializado começam a embarcar o modelo junto da licença do software. A escolha do formato de empacotamento e o dimensionamento continuam valendo aqui: o que muda é que a máquina alvo é desconhecida e heterogênea.