Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Modelo de Decisão

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Modelo de decisão, ou decisor, é o modelo que recebe um texto e um conjunto de opções e devolve a escolha com uma probabilidade para cada opção, sem escrever texto.

Ele existe porque boa parte das chamadas a um LLM em produção não precisa de uma resposta escrita: precisa só de um rótulo, de uma escolha ou de uma nota. Mandar essas perguntas a um modelo que gera texto funciona, mas paga pela escrita e não diz o quanto o modelo tem certeza. Uma chamada assim, que só escolhe entre opções fixas, é um If Caro. A ideia lembra o Sistema 1 de Kahneman: a resposta rápida e intuitiva, sem elaborar por escrito.

O decisor não é exatamente um modelo generativo, e é justamente o contraste com o LLM que o torna útil para quem trabalha com IA generativa: ele mostra quando a tarefa pede escrita e quando só pede escolha. Ele também não substitui o gerador. O uso mais natural é pôr o decisor na frente do LLM, que só entra quando é preciso escrever, e quando isso compensa está em Quando Usar um Modelo de Decisão.

Três tipos de pergunta que um decisor responde

TipoExemploSaída
Escolhaqual a fila da mensagem?uma probabilidade por opção (Cobrança 0,845, Varejo 0,091, Vendas 0,064)
Predicadoprecisa de uma pessoa?a probabilidade de sim (0,22)
Notaqual a severidade, de 0 a 3?um valor na escala, que pode cair entre dois níveis (1,1)

Os valores da escolha vêm do Strands Decider para a mensagem "meus repasses falham há 3 dias"; os de predicado e nota são ilustrativos. A confiança faz parte da resposta: uma escolha com 0,52 não vale o mesmo que uma com 0,95, e é ela que permite definir Faixas de Confiança. Uma saudação como "oi, tudo bem?" só tem resposta certa se a lista trouxer a Opção Nenhuma.

Por que o decisor responde mais rápido que um LLM

Um LLM gerador e um decisor leem a entrada do mesmo jeito. A diferença está no que vem depois. Mesmo quando se pede um JSON com valores fixos, o LLM precisa gerar a resposta token a token e, se for um modelo com raciocínio, pensar antes de responder; cada Token gerado é pago, e em preços de mercado o token de saída custa algo como cinco vezes o de entrada. O decisor já tem a estrutura da saída definida: responde no fim da leitura, numa única passada, só escolhendo a opção e a confiança.

Na analogia, o LLM é quem escreve uma carta explicando o caminho até a sala do chefe, gastando tempo, tinta e papel; o decisor é a recepcionista que olha a pessoa e aponta a porta certa. No ensaio da bancada, a latência mediana foi de 306 ms para um decisor na nuvem contra 1.629 ms para um LLM com JSON enum, mas um decisor local em CPU comum ficou em cerca de 1,4 s, empatado com o LLM.

Como um decisor é construído a partir de um LLM existente, o que é cobrado nele e em que ele difere dos modelos de decisão clássicos está em Arquitetura de um Modelo de Decisão. As ofertas do mercado estão no Mapa de Modelos de Decisão.

Slides da Tech Talk sobre modelos de decisão

Os slides da Tech Talk "Modelos de decisão: nem toda resposta precisa ser escrita", da bancada Generative AI, cobrem o conceito, o mercado, o uso junto com o LLM e o ensaio com 50 solicitações.