Structured Outputs
Ir para notas que citam estaStructured outputs é o recurso que força um LLM a responder num formato definido por um JSON Schema. Ele garante o formato da resposta, não a escolha.
É a objeção mais comum aos modelos de decisão: bastaria pedir ao LLM um JSON com um enum das opções. O recurso resolve uma parte do problema, a de receber sempre uma resposta que o código consegue ler, mas deixa três limites que pesam quando a tarefa é só escolher.
Quando até o formato falhava
Antes do recurso, fazer um LLM devolver JSON era uma luta, sobretudo com modelos mais antigos ou menores. A resposta vinha com o valor certo e o formato errado, como aspas simples no lugar das aspas duplas que o JSON exige, ou com o formato certo e o valor errado, e às vezes trazia comentários dentro do JSON. Structured outputs resolveram essa parte: o formato passou a ser garantido. A escolha, não.
Formato garantido não é escolha garantida
O schema garante que a saída é um JSON válido com um valor do enum. Não garante que o valor seja o certo. Numa triagem de mensagens entre as filas cobrança, varejo e vendas, a mensagem "oi, tudo bem?" com um enum sem a Opção Nenhuma produz um JSON perfeito como {"fila": "varejo"}, e errado: o modelo é obrigado a escolher uma fila. Com a opção nenhuma no enum, o LLM acertou os 8 casos desse tipo no ensaio da bancada. A promessa de que a saída estruturada não sofre de Alucinação vale para o formato, não para a escolha.
O LLM continua cobrando a saída
Mesmo com o formato travado, o LLM gera a resposta token a token e cobra cada um. Se o modelo raciocina antes de responder, cobra também o pensamento. No ensaio, o LLM gastou em média 51 tokens de saída para um JSON de cerca de 6: quase tudo era raciocínio. Quando a resposta inteira é uma escolha, essa chamada vira um If Caro.
Sem confiança, sem limiar
A resposta estruturada não traz probabilidade. Pedir ao LLM que informe quantos por cento tem de certeza não resolve: o número devolvido é um chute, porque o modelo não tem um processo para medir a própria certeza. Sem confiança, uma resposta errada chega com a mesma cara de uma certa e induz ao erro quem a consome. Também não dá para definir um limiar a partir do qual o sistema age sozinho, pede confirmação ou delega para uma pessoa, que é o que as Faixas de Confiança de um decisor permitem.