Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Structured Outputs

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Structured outputs é o recurso que força um LLM a responder num formato definido por um JSON Schema. Ele garante o formato da resposta, não a escolha.

É a objeção mais comum aos modelos de decisão: bastaria pedir ao LLM um JSON com um enum das opções. O recurso resolve uma parte do problema, a de receber sempre uma resposta que o código consegue ler, mas deixa três limites que pesam quando a tarefa é só escolher.

Quando até o formato falhava

Antes do recurso, fazer um LLM devolver JSON era uma luta, sobretudo com modelos mais antigos ou menores. A resposta vinha com o valor certo e o formato errado, como aspas simples no lugar das aspas duplas que o JSON exige, ou com o formato certo e o valor errado, e às vezes trazia comentários dentro do JSON. Structured outputs resolveram essa parte: o formato passou a ser garantido. A escolha, não.

Formato garantido não é escolha garantida

O schema garante que a saída é um JSON válido com um valor do enum. Não garante que o valor seja o certo. Numa triagem de mensagens entre as filas cobrança, varejo e vendas, a mensagem "oi, tudo bem?" com um enum sem a Opção Nenhuma produz um JSON perfeito como {"fila": "varejo"}, e errado: o modelo é obrigado a escolher uma fila. Com a opção nenhuma no enum, o LLM acertou os 8 casos desse tipo no ensaio da bancada. A promessa de que a saída estruturada não sofre de Alucinação vale para o formato, não para a escolha.

O LLM continua cobrando a saída

Mesmo com o formato travado, o LLM gera a resposta token a token e cobra cada um. Se o modelo raciocina antes de responder, cobra também o pensamento. No ensaio, o LLM gastou em média 51 tokens de saída para um JSON de cerca de 6: quase tudo era raciocínio. Quando a resposta inteira é uma escolha, essa chamada vira um If Caro.

Sem confiança, sem limiar

A resposta estruturada não traz probabilidade. Pedir ao LLM que informe quantos por cento tem de certeza não resolve: o número devolvido é um chute, porque o modelo não tem um processo para medir a própria certeza. Sem confiança, uma resposta errada chega com a mesma cara de uma certa e induz ao erro quem a consome. Também não dá para definir um limiar a partir do qual o sistema age sozinho, pede confirmação ou delega para uma pessoa, que é o que as Faixas de Confiança de um decisor permitem.