Large Language Model
Ir para notas que citam estaLarge Language Model (LLM) é um modelo de machine learning treinado sobre um volume enorme de texto para prever a próxima palavra e, assim, compreender e gerar linguagem natural.
É o motor por trás da IA generativa de texto: é ele que transforma o volume gigantesco de dados disponível na internet em respostas, traduções, resumos e código. O LLM existe porque a comunicação em linguagem humana exige um modelo capaz de captar padrões estatísticos da língua em escala, algo que só se tornou viável com muito poder computacional, concentrado nas grandes empresas de tecnologia. Ele convive com classes menores, como o Small Language Model, e a escolha entre um e outro é uma decisão de projeto, não de moda.
Onde o LLM se encaixa na inteligência artificial
O LLM ocupa o centro de uma hierarquia de campos. A inteligência artificial é o campo mais amplo; dentro dela está o machine learning; dentro do machine learning, o deep learning, com suas redes neurais densas. O processamento de linguagem natural (PLN) é o subcampo que dá ao sistema a capacidade de se comunicar na língua humana, sem que o usuário precise descer ao nível da máquina. O LLM combina os dois: usa técnicas de PLN para quebrar o texto em tokens e alimenta redes neurais profundas com esses tokens durante o treinamento.
O LLM é apenas um tipo de modelo de IA entre vários. Também não se confunde com a interface de chat que o usa: o chat é a camada de conversa, o modelo é o que fica por trás dela. Saber manipular o modelo em si, e não só a interface, é o que permite construir soluções sobre ele.
Previsão de tokens e o peso dos dados de treinamento
Na geração, o modelo escolhe a cada passo o token com maior probabilidade de continuar bem a sequência. Tudo o que ele sabe vem do que viu no treinamento: um LLM responde a partir do que está dentro dele. Por isso a qualidade e a curadoria dos dados determinam o comportamento do modelo. Diferenças percebidas entre modelos, de firmeza e consistência das respostas, costumam ser atribuídas aos dados usados em cada treinamento, e versões iniciais treinadas com dados enviesados reproduziram esse viés nas respostas.
Há LLMs generalistas, que fazem um pouco de tudo sem excelência em nenhuma tarefa, e LLMs treinados com foco num domínio, como código ou tradução. Um generalista usado numa tarefa específica, sem apoio de dados do domínio, fica mais sujeito à Alucinação e gasta mais tokens a cada interação, o que também pressiona a Janela de Contexto.
LLM ou modelo pequeno: um trade-off sem bala de prata
A comparação com o modelo pequeno passa por quatro eixos: tamanho (o LLM opera na casa dos bilhões de parâmetros, o SLM numa ordem de grandeza bem abaixo), capacidade, custo e tipo de aplicação recomendada. O LLM entrega mais desempenho, mas rodá-lo localmente exige hardware potente e caro; na prática, ele costuma ser consumido como serviço, o que significa enviar os dados a um fornecedor sem controle total sobre o que é feito com eles.
A evolução recente mudou esse quadro. A liberação de um modelo aberto da Meta e a otimização feita pela comunidade sobre esse código deram origem ao llama.cpp, base de boa parte das ferramentas de execução local. Ao mesmo tempo, modelos pequenos passaram a se aproximar dos grandes em cenários específicos, e a leveza deles democratiza o acesso de desenvolvedores que não têm máquinas potentes.
Não existe um modelo que resolva todos os problemas. A decisão entre um LLM e um modelo menor é o equilíbrio entre a eficiência que o projeto precisa e o desempenho que a tarefa exige.