Pular para o conteúdo
LabS Atlas
Entrar
← Desafios
07
Agentic AIAberto

Benchmarking de Observabilidade para agentes

RECOMPENSA
SOL$ 300,00

Entre com sua conta Solutis para se inscrever.

Realize um estudo comparativo aprofundado entre pelo menos duas ferramentas de mercado focadas na observabilidade de agentes (ex: LangSmith, Arize Phoenix, LangFuse, Weights & Biases). O objetivo é mapear como cada ferramenta expõe o racioncínio do agente

OBRIGATÓRIO

  • Mapeamento comparativo dos recursos de tracing: input, raciocínio, uso de ferramentas e output
  • Métricas essenciais definidas e coletadas: latência, uso de tokens, custo por execução e taxa de sucesso
  • Análise de segurança e contenção: como a ferramenta indentifica comportamentos indesejados ou vazamentos de dados (PII)
  • Apresentação do desafio em um LabS Tech Talk
  • Publicar o conhecimento no LabS Atlas

DESEJÁVEL

  • Script simples de agentes gerando logs reais nas duas ferramentas
  • Análise de integração (SDKs, setup) e comparativo de custos das ferramentas

Itens desejáveis valem até 10% a mais na recompensa