Custo por Tarefa Concluída
Ir para notas que citam estaCusto por tarefa concluída é o gasto total de uma solução de IA, incluindo falhas, escaladas e retrabalho, dividido pelo número de tarefas efetivamente resolvidas.
Preço por Token e custo por chamada medem quanto se paga para tentar; o custo por tarefa concluída mede quanto se paga para resolver. A diferença aparece nas tentativas que falham. Uma Cascata de Modelos que escala muitos pedidos paga duas chamadas em cada um; um modelo barato que erra gera retrabalho humano; um agente que entra em loop consome tokens sem entregar nada. Nenhum desses custos aparece no preço por token.
A métrica que fecha a avaliação de um roteador
É a régua final da Avaliação de Roteadores de Modelos: um roteador só economiza se o custo por tarefa concluída cair mantendo a meta de qualidade. Um arranjo mais barato por chamada que resolve menos tarefas não é mais barato.
Pelo mesmo motivo, o custo médio por tarefa publicado em benchmarks, como o do GitHub Copilot Fusion, não equivale a custo por tarefa resolvida: ele soma o gasto de API das tentativas, sem dizer quantas terminaram certas e sem incluir a revisão humana que veio depois.
Como calcular
Some todo o gasto do período, incluindo chamadas que falharam, escaladas, novas tentativas e o tempo de revisão humana quando existir, e divida pelas tarefas que chegaram ao resultado esperado segundo o conjunto de avaliação. Compare arranjos sempre com a mesma régua e a mesma meta de qualidade.