Token
Ir para notas que citam estaToken é a unidade em que um modelo de linguagem fatia a entrada e a saída; como números e símbolos viram padrões estatísticos de tokens, LLMs têm dificuldade com operações lógicas e matemáticas simples.
O modelo não lê frases nem enxerga números: ele opera sobre pedaços de texto e sobre a probabilidade de um pedaço suceder o outro. Isso explica tanto a fluência quanto as falhas que parecem absurdas para quem espera raciocínio de uma máquina.
Por que a conta simples falha
Perguntar quanto é 3 + 5 pode não produzir 8. O modelo fatia a entrada, encontra o token do 3, o do sinal e o do 5, e busca a continuação mais provável para essa sequência — que pode ter vindo de "capítulo 3" ou de "5 passos para ganhar dinheiro", conforme o que for mais frequente no treinamento. A soma não acontece porque não há operação aritmética, apenas associação.
O contorno é reduzir o espaço de possibilidades no próprio pedido: dizer explicitamente que se trata de matemática, que a operação é uma soma e o que é somar. Com o contexto estreitado, a resposta correta passa a ser a continuação mais provável. É a mesma mecânica que sustenta as técnicas de Engenharia de Prompt — persona, formato e especificidade existem para estreitar esse espaço.
A concordância automática que agrava o problema
Um modelo treinado para ser um assistente prestativo tende a não contrariar quem pergunta. Diante de uma resposta correta contestada pelo usuário, ele frequentemente se desculpa e concorda, mesmo estando certo antes. Somado à falha de raciocínio numérico, isso torna perigoso usar o modelo como juiz do próprio trabalho ou do trabalho de outro agente: ele pode se perder na mesma ambiguidade de contexto ao avaliar se um resultado está correto, e pode ceder à primeira objeção.
Quando a pergunta é se um teste passou ou se um cálculo bateu, a resposta confiável vem de rodar e comparar, não de perguntar ao modelo. O julgamento por LLM serve para aderência a um protocolo declarado; o veredito sobre o resultado em si depende de verificação executável e de Revisão Humana de Saídas de IA.
Tokens como unidade de custo e de limite
A mesma unidade que explica as falhas de raciocínio governa quanto cabe numa chamada e quanto ela custa: entrada e saída são cobradas e limitadas em tokens, e quanto mais contexto se empurra para dentro do prompt, maior a conta e maior a chance de o modelo se perder no que é relevante. O detalhamento econômico dessa escolha fica em Custo de Tokens; o efeito de perder o fio dentro de um contexto grande aparece em Alucinação.