Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Execução de Modelos de Linguagem no Navegador

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Execução de modelos de linguagem no navegador é rodar a inferência inteiramente na aba do cliente, usando APIs como WebGPU para acessar a GPU local, sem nenhuma chamada a servidor depois do download do modelo.

É o caso mais radical de execução local: não há aplicativo a instalar nem runtime a configurar, apenas uma página que baixa os pesos e passa a conversar com a máquina de quem a abriu. Para um modelo pequeno, essa forma de distribuição elimina de uma vez o custo de servidor de inferência e o trânsito dos dados do usuário pela rede.

Como o modelo chega à aba e passa a rodar sem rede

A página começa estática. Na primeira interação, ela baixa todos os pesos do modelo de uma vez por meio de um engine de carregamento, e esses pesos ficam em cache no navegador. Dali em diante, a inferência acontece entre a GPU e o modelo carregado, e a interface volta a ser HTML e JavaScript comuns — a camada de backend deixa de existir para esse fluxo.

O comportamento é verificável na própria ferramenta de desenvolvedor: depois da requisição inicial de download, a aba de rede não registra novas chamadas durante a conversa, enquanto o monitor de processos mostra o uso de GPU subir a cada pergunta. O suporte a WebGPU existe nos principais navegadores, com variação de maturidade entre eles, e há outras bibliotecas de inferência client-side além dela, incluindo implementações baseadas em Transformers.js e em runtimes portados para a web.

Limites do que roda na máquina do visitante

O fator limitante é o dispositivo de quem acessa, não a arquitetura. O modelo precisa caber na memória que o navegador concede à aba e o processamento disponível define se a resposta sai em tempo aceitável — por isso dois usuários com o mesmo site têm experiências de desempenho diferentes. Modelos da ordem de meio gigabyte já ficam dentro do orçamento típico de uma aba, o que já torna a abordagem viável e amplia seu alcance conforme o parque de máquinas melhora.

Outro limite é a persistência. Por padrão, a conversa vive apenas no cache do navegador e se perde quando a aba fecha; guardar histórico exige um mecanismo adicional construído por fora, que necessariamente reintroduz algum componente de servidor no desenho.

Privacidade é a contrapartida do custo

Como o texto do usuário nunca sai do dispositivo, a superfície de exposição de dados fica restrita à máquina dele — o mesmo motivo pelo qual o desenho reduz a fatura de infraestrutura.

Onde a abordagem compensa

O caso mais direto é a triagem de conteúdo antes do envio: um modelo pequeno rodando na página analisa o sentimento de um comentário e filtra palavras nocivas antes que ele seja publicado, substituindo expressões regulares por compreensão de contexto e sem que o texto original trafegue. Atendimento ao cliente executado na máquina do visitante segue a mesma lógica e alivia o servidor de um volume de inferência que, em nuvem, seria cobrado por token.

Navegadores já experimentaram baixar modelos pequenos nas máquinas dos usuários para economizar processamento do lado do servidor, e produtos com chatbot especializado começam a embarcar o modelo junto da licença do software. A escolha do formato de empacotamento e o dimensionamento continuam valendo aqui: o que muda é que a máquina alvo é desconhecida e heterogênea.