Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

Llama

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Llama é a família de modelos de linguagem abertos da Meta, disponível em vários tamanhos e usada localmente via Ollama para interpretar aplicações e gerar dados e testes.

Por ser aberta, a família pode ser baixada e executada na própria máquina com o Ollama, sem API paga e sem enviar código a terceiros. Cada geração sai em vários tamanhos, medidos em bilhões de parâmetros, e a escolha do tamanho é, na prática, uma escolha de hardware: o mesmo nome cobre desde versões que rodam num notebook comum até versões que só existem em data center. Além do uso como assistente de conversa, o Llama é tido como um bom modelo para integração com outras ferramentas, criação de agentes e casos de RAG.

Versões e tamanhos na prática

Os exemplos mais usados são estes:

  • Llama 3.1 8B: a versão mais leve do 3.1, escolhida justamente por caber com folga numa máquina de 16 GB a 32 GB de RAM. O arquivo baixado fica em torno de 4 GB a 5 GB, conforme a variante. Numa GPU com cerca de 6 GB de VRAM bem configurada, roda muito mais rápido do que na CPU.
  • Llama 3.1 405B: a versão grande da mesma geração, treinada com cerca de 16 mil placas de vídeo de 80 GB cada. Não roda numa estação de trabalho comum.
  • Llama 3.2 3B: um modelo pequeno com bom desempenho, que às vezes mistura português com espanhol ou inglês. A versão padrão do 3.2, de aproximadamente 2 GB, foi a que deu os melhores resultados num protótipo de agentes de teste.
  • Code Llama: variante voltada a código, pesada demais para rodar localmente com conforto em máquinas comuns.

Modelos menores tendem a responder melhor em inglês, porque têm mais vocabulário nesse idioma. Para dimensionar a máquina antes de escolher a versão, ver Dimensionamento de Hardware para Modelos Locais.

Interpretar um repositório e gerar massa de dados

O Llama 3.1 8B foi usado em duas etapas encadeadas. Primeiro, lê os arquivos de um repositório clonado localmente (um HTML de formulário de cadastro, no exemplo) e produz uma interpretação da aplicação: o que a página faz, quais campos existem, que validações se esperam. Depois, a partir dessa leitura, gera exemplos de Massa de Dados de Teste em português. Pedir para processar o repositório inteiro torna a resposta muito lenta, por isso compensa restringir a leitura aos arquivos relevantes.

Instruções negativas no prompt, como pedir para não escrever código, tendem a ser ignoradas; a formulação afirmativa funciona melhor (ver Engenharia de Prompt).

Llama 3.1 comparado ao Phi-3

O Phi-3 é o parceiro natural de comparação: tem cerca de metade dos parâmetros do Llama 3.1 8B, embora o arquivo baixado tenha tamanho parecido, entre 4 GB e 4,5 GB. Os resultados variaram entre exercícios. Num teste de geração de testes, o Llama 3.1 levou cerca de 22 segundos contra 10 do Phi-3 e foi menos verboso. Num teste de interpretação e geração de massa de dados, o Llama respondeu antes do Phi-3, que levou cerca de dois minutos e meio, enquanto o Phi-3 entregou uma interpretação mais técnica, com mais trechos de código.

Escolha por hardware

A recomendação prática é começar pelo Phi-3 quando não há placa de vídeo potente e reservar o Llama 3.1 para quem tem GPU dedicada razoável.