Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Ollama

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Ollama é a ferramenta que baixa e executa modelos de linguagem na própria máquina, com uma biblioteca de modelos e uso parecido com o de um gerenciador de pacotes.

A comparação mais direta é com o NPM ou o Docker: busca-se um modelo pelo nome, baixa-se e deixa-se rodando. É a porta de entrada mais simples para a Execução Local de Modelos de Linguagem, disponível para Windows, Mac e Linux, e bem mais prática do que as alternativas anteriores, que davam bem mais trabalho para colocar um modelo de pé. A motivação recorrente é privacidade: nenhum prompt, código ou dado sai para um serviço externo, e não há custo por geração.

Linha de comando e biblioteca de modelos

O uso básico passa por poucos comandos: ollama pull <modelo> baixa, ollama run <modelo> abre a conversa e ollama ps mostra onde o modelo carregado está rodando, na GPU, na CPU ou dividido entre as duas. Cada modelo da biblioteca exibe a quantidade de parâmetros e tags com características como níveis de quantização e suporte a tools, a marca dos modelos aptos a Function Calling.

Confira o tamanho antes de baixar

A biblioteca tem modelos de dezenas de GB. Um arquivo de cerca de 29 GB baixa sem problema, mas não roda com desempenho aceitável numa máquina com pouca RAM ou VRAM. O dimensionamento de hardware vem antes do download.

Numa máquina com GPU de 4 GB de VRAM, um Llama 3.1 de 8 bilhões de parâmetros, que pede cerca de 6 GB, fica dividido entre GPU e CPU e responde devagar; um modelo de cerca de 4 bilhões cabe e responde em segundos. Uma estimativa usada na prática é de aproximadamente meio giga de RAM por bilhão de parâmetros. Sempre que possível, uma GPU dedicada faz a diferença.

Integrações e fluxo de trabalho

O Ollama expõe uma API no formato da OpenAI, então a mesma integração usada com um serviço em nuvem pode ser redirecionada para um modelo local. Isso permite:

  • usar modelos locais dentro do editor pelo Continue, para chat e sugestões de código;
  • gerar conteúdo em apps de notas por meio de plugins de IA local;
  • manter vários modelos para finalidades diferentes, como um geral para chat, um especializado em código para autocomplete e um de embedding para vetorização;
  • desenvolver e testar primeiro com modelos locais e só depois ligar um provedor pago, sem custo de geração durante os testes.