Desafio AgentOps Observabilidade e Monitoramento de Agentes Autônomos (2025-10-09)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão discutiu o desafio de aplicar práticas de AgentOps para observar e monitorar agentes autônomos durante todo o ciclo de vida. Foram destacados indicadores como comportamento e caminho de decisão, ferramentas e APIs utilizadas, comunicação entre agentes, loops, segurança de dados e credenciais, desempenho, latência, consumo de tokens, custos, qualidade das respostas, alucinações e feedback dos usuários. Reforçou-se que entrada e saída precisam ser estruturadas e que não basta colocar um agente em produção sem acompanhar suas ações, permissões, recursos consumidos e possíveis desvios. Também se debateu a necessidade de manter supervisão e curadoria humana, especialmente em aspectos de linguagem, adequação e impacto das respostas, evitando a criação de agentes sem uma necessidade clara.
Foram apresentadas ferramentas e abordagens para viabilizar essa observabilidade, com destaque para LangSmith, Datadog e os recursos do Amazon Bedrock integrados ao CloudWatch. Essas soluções permitem acompanhar traces, prompts, logs, modelos acionados, tokens, erros, latência, custos e etapas de orquestração, embora o nível de detalhamento varie entre elas. Também foi ressaltado que a observabilidade deve abranger não apenas o agente, mas toda a infraestrutura e os serviços envolvidos, como bancos vetoriais, APIs, servidores, GPUs, ferramentas externas e servidores MCP. O uso de agentes para avaliar outros agentes pode ajudar na validação e filtragem de alertas, mas não elimina a responsabilidade nem a revisão humana.
Como conclusões e pontos em aberto, destacou-se que é necessário definir claramente o que se pretende automatizar e quais resultados são esperados antes de escolher métricas ou construir agentes. Permaneceram como temas para aprofundamento o monitoramento de chamadas e riscos em servidores MCP remotos, a especialização de modelos com dados de domínio, os limites de custo e consumo de infraestrutura e os critérios para decidir quando usar um agente, um chatbot ou uma automação convencional. A conversa também reforçou preocupações éticas e de segurança relacionadas à exposição de dados, ao uso indiscriminado de IA, à confiabilidade de conteúdos gerados e à responsabilidade humana por decisões e entregas feitas com auxílio de agentes.