Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Tech Talk Modelos de Decisão Nem Toda Resposta Precisa Ser Escrita (2026-10-21)

21 out 20261h 12min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou os modelos de decisão como sistemas que recebem uma entrada e retornam uma escolha estruturada, como uma categoria, um valor, um sim ou não ou um direcionamento, acompanhada do nível de confiança. Uma dinâmica de classificação de mensagens mostrou que o modelo também pode se abster quando nenhuma categoria disponível representa adequadamente a entrada. Diferentemente de uma LLM, que gera uma resposta token a token, o modelo de decisão trabalha com saídas previamente definidas, evitando a geração de texto, reduzindo latência, custo e problemas de formato ou alucinação. Também foi discutido que modelos de decisão podem complementar LLMs, atuando na triagem, no roteamento, em guard rails e na escolha de quando é necessário chamar um modelo generativo ou um atendente humano.

Foram apresentados lançamentos recentes, possibilidades de execução local e uso em dispositivos, além de uma demonstração comparando uma LLM, um modelo local pequeno e uma API de decisão. O modelo de decisão externo alcançou acurácia semelhante à LLM, mas com latência e custo menores, enquanto o modelo local teve custo nulo, porém menor precisão e desempenho variável. A escolha entre decisão e geração depende do tipo de resposta, do volume de requisições, da quantidade de opções fixas e do custo de manutenção e calibração dos limiares de confiança; portanto, o decisor não é uma solução universal. Como próximos passos, foram indicados a exploração dos repositórios da demonstração e do Labs Atlas, onde estão disponíveis os materiais, notas e um assistente para esclarecer dúvidas sobre o tema.

Gerado por IA a partir da transcrição.
Capítulos · 26
00:08
Abertura e introdução ao tema
Assistir
07:09
Contexto da sessão e dinâmica inicial
Assistir
08:24
Dinâmica de classificação no chat
Assistir
14:50
O que é um modelo de decisão
Assistir
17:25
Tipos de saída e exemplos de uso
Assistir
20:01
Modelo de decisão versus LLM
Assistir
22:36
Velocidade e eficiência dos decisores
Assistir
26:30
Limitações das LLMs e formatos estruturados
Assistir
30:28
Modelos existentes e evolução da tecnologia
Assistir
38:24
Uso combinado de decisores e modelos generativos
Assistir
42:21
Custos ocultos e calibração de confiança
Assistir
46:12
Quando usar um decisor ou uma LLM
Assistir
48:53
O decisor como um 'if' de alto custo
Assistir
51:27
Workshop: classificação de intenção com LLM
Assistir
54:02
Modelo de decisão para escolher a rota e o modelo
Assistir
56:34
Decisores locais, offline e substituição de regras
Assistir
57:52
Triagem de áudio e imagem e introdução à demo
Assistir
59:10
Preparação da comparação entre LLMs e modelos de decisão
Assistir
1:00:24
Execução da demo com 50 solicitações
Assistir
1:02:56
Resultados: velocidade e acurácia dos modelos
Assistir
1:04:12
Comparativo de custo, latência e desempenho
Assistir
1:06:47
Como interpretar custos por token e por requisição
Assistir
1:08:03
Conclusões da demo e encerramento técnico
Assistir
1:09:19
Labs Atlas como repositório de conhecimento
Assistir
1:10:38
Exploração das notas e assistente do Labs Atlas
Assistir
1:11:53
Encerramento e agradecimentos
Assistir
Cortes · 9
O que é um modelo de decisão
A partir da dinâmica de classificação de mensagens, a apresentação explica que um modelo de decisão recebe um texto e retorna uma escolha customizada, como uma categoria, um valor ou uma resposta sim/não. Também são apresentados o nível de confiança da decisão e a possibilidade de o modelo se abster quando nenhuma categoria fizer sentido.
14:50 – 17:24Assistir
Tipos de saída de um modelo de decisão
O trecho mostra, com exemplos práticos, diferentes resultados possíveis para um modelo de decisão: classificação em filas, predicados de sim ou não e notas numéricas de severidade ou urgência. A confiança associada à resposta aparece como parte essencial desses resultados.
17:25 – 20:01Assistir
Modelo de decisão versus LLM
A apresentação compara modelos de decisão com LLMs, destacando que o decisor trabalha com saídas previamente definidas e não precisa gerar tokens de resposta. Isso tende a reduzir tempo e custo, enquanto a LLM precisa produzir texto token a token; uma analogia com secretários ajuda a visualizar essa diferença.
20:01 – 25:12Assistir
Vantagens e limitações das LLMs em decisões
O trecho discute como modelos de decisão podem encaminhar mensagens para respostas pré-definidas com mais rapidez e menor custo. Também são abordados problemas de LLMs, como formatos JSON inválidos, valores incorretos, alucinações, classificações forçadas e estimativas de confiança pouco confiáveis.
25:12 – 30:28Assistir
Evolução e integração dos modelos de decisão
A apresentação explica que novos modelos de decisão podem reaproveitar a base de Transformers, trocando a geração de texto por escolhas estruturadas. Em seguida, apresenta uma linha do tempo de lançamentos e esclarece que esses modelos não substituem as LLMs, mas podem atuar antes delas para classificar intenções, encaminhar solicitações e usar a geração de texto apenas quando necessário.
30:28 – 38:24Assistir
Arquitetura híbrida com confiança
O trecho detalha uma arquitetura em que o modelo de decisão faz a triagem inicial de mensagens e encaminha casos de baixa confiança para uma LLM ou para validação humana. Também é introduzida a ideia de que existe um custo operacional escondido: o decisor adiciona mais uma etapa e mais um modelo à pipeline.
38:24 – 43:36Assistir
Quando vale a pena usar um decisor
A discussão aborda calibração de limiares de confiança, manutenção de múltiplos modelos e a diferença entre custo por token e custo por decisão correta. O trecho também apresenta critérios para escolher entre um decisor e uma LLM, considerando respostas fixas ou variáveis, volume de requisições, triagem, roteamento e guard rails.
43:37 – 50:08Assistir
Modelos de decisão: menos custo e mais eficiência
A apresentação explica como modelos de decisão funcionam como alternativas mais econômicas a uma LLM para classificar intenções e escolher caminhos. Também são discutidas aplicações como seleção de modelos, avaliação de respostas, execução local em dispositivos e substituição de fluxos extensos de regras if-else.
50:09 – 57:52Assistir
Demo: comparação entre LLM e modelos de decisão
A demonstração compara 50 solicitações classificadas por uma LLM, um modelo local e um modelo de decisão da OpenAI. Os resultados mostram diferenças de acurácia, latência e custo, destacando que o modelo de decisão alcança desempenho semelhante ao da LLM com respostas mais rápidas e baratas.
57:52 – 1:09:19Assistir
Perguntas desta sessão
O que representa a porcentagem de confiança na classificação de uma mensagem por um modelo de decisão?
A porcentagem representa o grau de confiança de que a mensagem pertence a determinada categoria, como cobrança, varejo ou vendas. Por exemplo, 70% indica que os participantes consideram haver 70% de certeza de que a mensagem pertence à categoria escolhida.
11:35 – 12:11Assistir
Como classificar a mensagem sobre um desconto prometido que não apareceu na fatura e qual é o grau de confiança nessa classificação?
A avaliação média dos participantes classificou a mensagem como vendas, com 84% de certeza.
12:28 – 13:15Assistir
Um modelo de decisão permite escolher zero como categoria ou indicar que nenhuma categoria se aplica?
Sim. É possível indicar que nenhuma das categorias disponíveis se aplica à mensagem. Essa opção também recebe uma porcentagem de confiança, assim como as demais categorias.
13:38 – 13:48Assistir
Que tipos de resultado um modelo de decisão pode retornar e como ele expressa a confiança na decisão?
Um modelo de decisão pode classificar uma entrada em categorias, fazer uma escolha binária ou retornar uma pontuação numérica. Além da decisão, ele informa uma porcentagem de confiança; por exemplo, pode classificar uma mensagem como pertencente à fila de cobrança com 85% de certeza.
18:31 – 18:45Assistir
Como um modelo de decisão pode determinar se uma mensagem precisa ser encaminhada para um atendente humano?
O modelo pode tratar a necessidade de atendimento humano como uma classificação binária. No exemplo apresentado, a probabilidade de a mensagem precisar de um atendente foi de apenas 22%, portanto o sistema decidiu que o atendimento humano não era necessário.
19:00 – 19:33Assistir
Qual é a diferença entre um modelo de decisão e uma LLM ao receber um texto e retornar uma escolha?
Embora ambos possam receber texto e retornar uma escolha, a LLM gera tokens e precisa produzir a resposta, inclusive quando o formato esperado é um JSON. O modelo de decisão trabalha com uma estrutura de saída previamente definida e apenas seleciona uma das opções possíveis, sem gerar texto token a token. Isso reduz custo e latência e torna o resultado mais previsível.
20:17 – 21:45Assistir
Como uma LLM gera uma resposta, em comparação com um modelo de decisão que escolhe uma saída predefinida?
A LLM escolhe probabilisticamente cada próximo token, comparando as possibilidades para continuar a resposta e construindo o texto progressivamente. O modelo de decisão não precisa gerar cada palavra: como as saídas já estão definidas, ele apenas seleciona diretamente uma opção, o que o torna mais rápido.
22:53 – 23:26Assistir
Os modelos modernos de decisão baseados em Transformers têm alguma relação com os modelos matemáticos antigos ou são completamente novos?
O conceito de decisão é antigo, mas os modelos modernos usam a mesma base dos Transformers. Em vez de gerar texto, eles produzem uma decisão assertiva e podem adaptar-se a diferentes decisões sem necessariamente exigir um novo treinamento para cada caso, ao contrário de muitos modelos antigos.
35:58 – 37:01Assistir
Como funciona a cobrança de tokens em modelos de decisão em comparação com LLMs convencionais?
No modelo de decisão, a cobrança ocorre pelo processamento necessário para interpretar a entrada e tomar a decisão, mas não pela geração de uma resposta textual. Em uma LLM convencional, normalmente há cobrança tanto pelo processamento da entrada quanto pelos tokens gerados na resposta.
37:43 – 38:03Assistir
Como um modelo de decisão pode ser combinado com uma LLM em um chatbot?
O modelo de decisão pode ficar na frente da LLM para interpretar rapidamente a intenção do usuário e tratar casos conhecidos, como dúvidas ou saudações. Apenas solicitações que exigem geração de texto ou que tenham baixa confiança são encaminhadas à LLM, reduzindo custo e latência.
39:35 – 40:45Assistir
Quanto do gasto com uma LLM pode ser, na prática, o custo de um modelo de decisão simples?
Uma LLM pode consumir dezenas de tokens para raciocinar e gerar um JSON, mesmo quando a aplicação precisa apenas de uma classificação. No exemplo apresentado, foram necessários em média 51 tokens de saída para um JSON de cerca de seis linhas. Um modelo de decisão pode fazer apenas a escolha entre opções fixas, como um if, reduzindo a latência e praticamente eliminando o custo de geração de saída.
48:45 – 51:08Assistir
Quais são as perspectivas futuras para os modelos de decisão?
As perspectivas incluem usar modelos de decisão para escolher automaticamente qual LLM é mais adequada a cada tarefa, avaliar respostas como boas, ruins ou necessitadas de revisão, executar modelos pequenos localmente em celulares e navegadores sem conexão, substituir cadeias extensas de regras if-else e fazer triagem direta de áudio e imagens antes de transcrevê-los ou descrevê-los.
54:35 – 58:17Assistir
O que é um modelo de decisão?
É uma ferramenta que recebe uma solicitação e retorna diretamente uma decisão, como uma classificação ou escolha, em vez de gerar uma resposta escrita. O conteúdo sobre o modelo pode ser consultado nas notas da sessão.
1:10:46 – 1:11:03Assistir