← Desafios07Agentic AIAberto
Benchmarking de Observabilidade para agentes
Entre com sua conta Solutis para se inscrever.
Realize um estudo comparativo aprofundado entre pelo menos duas ferramentas de mercado focadas na observabilidade de agentes (ex: LangSmith, Arize Phoenix, LangFuse, Weights & Biases). O objetivo é mapear como cada ferramenta expõe o racioncínio do agente
OBRIGATÓRIO
- ·Mapeamento comparativo dos recursos de tracing: input, raciocínio, uso de ferramentas e output
- ·Métricas essenciais definidas e coletadas: latência, uso de tokens, custo por execução e taxa de sucesso
- ·Análise de segurança e contenção: como a ferramenta indentifica comportamentos indesejados ou vazamentos de dados (PII)
- ·Apresentação do desafio em um LabS Tech Talk
- ·Publicar o conhecimento no LabS Atlas
DESEJÁVEL
- ·Script simples de agentes gerando logs reais nas duas ferramentas
- ·Análise de integração (SDKs, setup) e comparativo de custos das ferramentas
Itens desejáveis valem até 10% a mais na recompensa