Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

Ollama

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Ollama é uma ferramenta que baixa e executa modelos de linguagem localmente pela linha de comando, expondo-os por uma API local para qualquer aplicação.

Ele existe para tirar a dependência de um provedor de IA na nuvem. Os modelos rodam na própria máquina, sem internet, sem custo por chamada e sem enviar código ou dados a terceiros, argumento que sustenta a escolha discutida em Modelo Local versus API Paga. O preço dessa autonomia é o hardware: capacidade e velocidade ficam limitadas pelo que a máquina oferece, tema detalhado em Dimensionamento de Hardware para Modelos Locais. Uma analogia útil é pensar no Ollama como um Docker para modelos de IA: cada modelo baixado funciona como uma imagem que pode ser executada, trocada ou removida.

Instalação e comandos do dia a dia

O instalador vem do site oficial e tem entre 500 MB e 750 MB, conforme o sistema operacional. Funciona em Linux, Windows e Mac com os mesmos comandos. Depois de instalado, tudo passa pelo terminal:

  • ollama pull <modelo> baixa um modelo;
  • ollama run <modelo> executa o modelo e abre um chat direto no terminal, baixando-o antes se ainda não estiver presente;
  • ollama list mostra os modelos já baixados.

Trocar de modelo quando sai uma versão nova, por exemplo de um Llama para o seguinte, é só baixar e chamar pelo novo nome. Há também um cliente gráfico, bem avaliado, que se atualiza sozinho. O serviço fica residente em segundo plano e consome bastante memória; quando não estiver em uso, vale encerrá-lo pelo ícone na bandeja do sistema.

Biblioteca de modelos e suas categorias

A biblioteca do site lista, para cada modelo, o número de parâmetros (1.5B, 7B, 8B, 14B, em bilhões) e a memória recomendada. Os modelos se dividem em três grupos:

  • Modelos de texto genéricos, como Llama e Phi-3, para conversa e interpretação.
  • Modelos voltados a código, que entendem texto mas são otimizados para gerar código; são os usados em autocompletar de assistentes como o Continue.
  • Modelos de embedding, que não geram texto: convertem o conteúdo em vetores para que outro modelo entenda melhor a intenção. Costumam ter "embed" no nome.

Existem ainda modelos multimodais, como o LLaVA, que interpreta imagens. Além da biblioteca oficial, é possível carregar arquivos no formato GGUF baixados do Hugging Face. Um modelo leve como o Qwen2 de 1,5 bilhão de parâmetros roda em quase qualquer máquina, mas dá respostas mais curtas e diretas.

Uso via API, streaming e ferramentas

Instalado, o Ollama sobe um servidor local em 127.0.0.1, na porta 11434, que segue o mesmo padrão de API da OpenAI. Por isso ferramentas como o LangFlow, o Continue e o Aider o consomem como se fosse um provedor remoto, e qualquer linguagem que faça uma chamada HTTP pode usá-lo: Python, Java e TypeScript servem igualmente.

A API de chat aceita o parâmetro stream. Ligado, a resposta chega token a token, como no ChatGPT, o que ajuda a acompanhar e depurar. Desligado, o bloco inteiro só aparece no fim, o que simplifica extrair o conteúdo, mas deixa a tela parada por mais tempo. A mesma API tem um recurso de tools, chamada de ferramentas externas, que é o caminho para construir agentes sobre o Ollama (ver Elementos de um Agente de IA).

GPU, CPU e execução em contêiner

O Ollama detecta GPUs NVIDIA com drivers instalados e as usa sem configuração. GPUs AMD têm suporte apenas em parte dos modelos de placa e podem exigir configuração adicional; placas mais antigas, como uma RX 580, ficam de fora. Sem GPU compatível, tudo roda na CPU, mais devagar, mas funciona. Numa comparação entre duas máquinas, a geração caiu de cerca de 60 tokens por segundo com uma RTX 3050 para cerca de 16 sem GPU compatível. Rodar dois modelos ao mesmo tempo, como um de chat e um de embedding, sobrecarrega a máquina.

Contêiner tem custo

O Ollama roda dentro de Docker ou Minikube, mas a execução direta na máquina costuma ser mais rápida. No Windows, um contêiner Linux divide a memória com a camada de virtualização, o que reduz a RAM disponível para o modelo.