Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Custo por Tarefa Concluída

Ir para notas que citam esta
atualizado há 4 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Custo por tarefa concluída é o gasto total de uma solução de IA, incluindo falhas, escaladas e retrabalho, dividido pelo número de tarefas efetivamente resolvidas.

Preço por Token e custo por chamada medem quanto se paga para tentar; o custo por tarefa concluída mede quanto se paga para resolver. A diferença aparece nas tentativas que falham. Uma Cascata de Modelos que escala muitos pedidos paga duas chamadas em cada um; um modelo barato que erra gera retrabalho humano; um agente que entra em loop consome tokens sem entregar nada. Nenhum desses custos aparece no preço por token.

A métrica que fecha a avaliação de um roteador

É a régua final da Avaliação de Roteadores de Modelos: um roteador só economiza se o custo por tarefa concluída cair mantendo a meta de qualidade. Um arranjo mais barato por chamada que resolve menos tarefas não é mais barato.

Pelo mesmo motivo, o custo médio por tarefa publicado em benchmarks, como o do GitHub Copilot Fusion, não equivale a custo por tarefa resolvida: ele soma o gasto de API das tentativas, sem dizer quantas terminaram certas e sem incluir a revisão humana que veio depois.

Como calcular

Some todo o gasto do período, incluindo chamadas que falharam, escaladas, novas tentativas e o tempo de revisão humana quando existir, e divida pelas tarefas que chegaram ao resultado esperado segundo o conjunto de avaliação. Compare arranjos sempre com a mesma régua e a mesma meta de qualidade.