Pular para o conteúdo
LabS Atlas
Agentic AI
Entrar
Sessões

Desafio AgentOps Observabilidade e Monitoramento de Agentes Autônomos (2025-10-09)

9 out 20251h 21min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão discutiu o desafio de aplicar práticas de AgentOps para observar e monitorar agentes autônomos durante todo o ciclo de vida. Foram destacados indicadores como comportamento e caminho de decisão, ferramentas e APIs utilizadas, comunicação entre agentes, loops, segurança de dados e credenciais, desempenho, latência, consumo de tokens, custos, qualidade das respostas, alucinações e feedback dos usuários. Reforçou-se que entrada e saída precisam ser estruturadas e que não basta colocar um agente em produção sem acompanhar suas ações, permissões, recursos consumidos e possíveis desvios. Também se debateu a necessidade de manter supervisão e curadoria humana, especialmente em aspectos de linguagem, adequação e impacto das respostas, evitando a criação de agentes sem uma necessidade clara.

Foram apresentadas ferramentas e abordagens para viabilizar essa observabilidade, com destaque para LangSmith, Datadog e os recursos do Amazon Bedrock integrados ao CloudWatch. Essas soluções permitem acompanhar traces, prompts, logs, modelos acionados, tokens, erros, latência, custos e etapas de orquestração, embora o nível de detalhamento varie entre elas. Também foi ressaltado que a observabilidade deve abranger não apenas o agente, mas toda a infraestrutura e os serviços envolvidos, como bancos vetoriais, APIs, servidores, GPUs, ferramentas externas e servidores MCP. O uso de agentes para avaliar outros agentes pode ajudar na validação e filtragem de alertas, mas não elimina a responsabilidade nem a revisão humana.

Como conclusões e pontos em aberto, destacou-se que é necessário definir claramente o que se pretende automatizar e quais resultados são esperados antes de escolher métricas ou construir agentes. Permaneceram como temas para aprofundamento o monitoramento de chamadas e riscos em servidores MCP remotos, a especialização de modelos com dados de domínio, os limites de custo e consumo de infraestrutura e os critérios para decidir quando usar um agente, um chatbot ou uma automação convencional. A conversa também reforçou preocupações éticas e de segurança relacionadas à exposição de dados, ao uso indiscriminado de IA, à confiabilidade de conteúdos gerados e à responsabilidade humana por decisões e entregas feitas com auxílio de agentes.

Gerado por IA a partir da transcrição.
Capítulos · 33
00:34
Abertura e apresentação do tema
Assistir
05:08
O que monitorar em um agente
Assistir
07:45
Desafios da automação e dos agentes
Assistir
09:01
Introdução à bancada de agentes de IA
Assistir
11:34
Contexto do desafio e do AgentOps
Assistir
12:51
Observabilidade no ciclo de vida dos agentes
Assistir
15:26
Por que observar agentes em produção
Assistir
18:02
Exemplo prático: agentes de suporte
Assistir
20:36
Brainstorm de indicadores de monitoramento
Assistir
21:52
Monitoramento do comportamento dos agentes
Assistir
24:28
Limites da automação e supervisão humana
Assistir
29:30
Segurança e desempenho dos agentes
Assistir
30:47
Custos, tokens e eficiência
Assistir
32:04
Qualidade, feedback e alucinações
Assistir
37:11
Agentes avaliadores e curadoria de respostas
Assistir
39:48
Ferramentas para observabilidade
Assistir
41:06
LangSmith: traces, logs e métricas
Assistir
42:23
Analisando o fluxo de execução no LangSmith
Assistir
44:59
Modelos, latência e tokens no LangSmith
Assistir
46:17
Observabilidade de IA com Datadog
Assistir
48:54
AWS Bedrock e integração com modelos
Assistir
50:09
Bedrock Agents e agentes autônomos
Assistir
51:26
Monitoramento do Bedrock com CloudWatch
Assistir
54:07
Observabilidade de todo o ecossistema
Assistir
56:39
Adoção responsável de agentes de IA
Assistir
59:10
Infraestrutura, modelos e uso de recursos
Assistir
1:01:45
Como usar e especializar modelos de IA
Assistir
1:03:03
Automação, expectativas e monitoramento
Assistir
1:06:53
MCP, ferramentas e riscos de segurança
Assistir
1:09:26
Privacidade, dados e deepfakes
Assistir
1:14:33
Custos e arquitetura de agentes
Assistir
1:18:20
Responsabilidade pelo uso da IA
Assistir
1:19:36
Encerramento e próximos desafios
Assistir
Cortes · 9
Por que observar agentes autônomos
A apresentação explica o conceito de AgentOps e a importância de acompanhar agentes autônomos depois que entram em produção. A partir de analogias e exemplos de agentes de suporte, são discutidos logs, métricas, rastreamento de ações, uso de ferramentas, consumo de modelos e custos.
12:51 – 20:35Assistir
O que monitorar em um agente de IA
A sessão organiza uma discussão sobre dimensões de monitoramento: comportamento, segurança, performance, custo e qualidade das respostas. Os participantes debatem loops, ferramentas utilizadas, dados sensíveis, latência, tokens, alucinações, curadoria humana e o uso de agentes avaliando outros agentes.
20:36 – 39:48Assistir
Ferramentas para rastrear agentes
A apresentação passa da discussão conceitual para as ferramentas de observabilidade, com foco no LangSmith. O grupo analisa dashboards, traces e o fluxo de execução de um agente, incluindo pré-processamento, roteamento, uso de múltiplos modelos e síntese da resposta final.
39:48 – 44:59Assistir
Observabilidade de LLMs no Datadog
Apresentação do Datadog como plataforma de observabilidade para infraestrutura, aplicações e modelos de linguagem. O trecho mostra métricas por modelo e provedor, chamadas, erros, consumo de tokens e traces completos das interações.
46:17 – 48:54Assistir
Bedrock, agentes e monitoramento na AWS
Explicação do Amazon Bedrock como um ponto de integração para consumir diferentes modelos de linguagem e criar agentes autônomos. Também são discutidos o Bedrock Agents, o CloudWatch e as métricas disponíveis, como invocações, latência, tokens e erros.
48:54 – 54:07Assistir
Adotar agentes no ritmo das pessoas
Discussão sobre os riscos de implementar agentes de IA apenas por hype ou em uma velocidade maior do que a capacidade de adaptação dos usuários. O grupo defende uma adoção gradual, considerando a experiência do cliente, a utilidade real e os impactos éticos.
56:39 – 59:10Assistir
Como entender, monitorar e controlar agentes de IA
O grupo relaciona observabilidade de agentes com o monitoramento de infraestrutura, modelos, ferramentas, GPUs, custos e ciclos de execução. O debate evolui para a necessidade de definir claramente o objetivo da automação, controlar chamadas a ferramentas e monitorar servidores MCP e dados enviados para fora do ambiente.
59:10 – 1:09:27Assistir
Privacidade, memória e deepfakes
Debate sobre os riscos de inserir dados pessoais e documentos confidenciais em plataformas de IA, especialmente quando esses dados podem reaparecer em outros contextos. Também são discutidos vídeos falsos realistas, ausência de marcas d’água em modelos locais e a dificuldade crescente de distinguir conteúdo verdadeiro de conteúdo gerado.
1:10:44 – 1:14:33Assistir
Responsabilidade humana pelo uso da IA
O trecho aborda vazamento de conversas, custos de agentes e os perigos de atribuir erros à IA para fugir da responsabilidade. A discussão usa um caso de relatório impreciso produzido com IA para reforçar que quem implementa e entrega uma automação continua responsável por seus impactos e pela validação do resultado.
1:14:33 – 1:20:51Assistir
Perguntas desta sessão
Quais aspectos da observabilidade de agentes autônomos serão abordados na sessão?
Serão abordadas duas linhas: monitorar a execução dos agentes, entendendo o que eles fazem e como os fluxos ocorrem; e utilizar agentes para monitorar a operação e os ambientes.
15:08 – 15:26Assistir
Quais aspectos do comportamento de agentes autônomos devem ser monitorados?
Devem ser monitorados o caminho e o raciocínio usados na decisão, as APIs, os modelos e as ferramentas acionados, o cumprimento das instruções, a comunicação com outros agentes e a ocorrência de comportamentos inesperados, como loops. Também podem ser avaliados os dados e as contas utilizados.
21:45 – 22:49Assistir
Como a análise de sentimento pode ser usada para monitorar o comportamento textual de agentes autônomos?
A análise de sentimento pode avaliar os textos gerados por agentes, especialmente em respostas de tickets, para identificar mudanças de tom, como uma linguagem mais agressiva ou inadequada, e complementar o monitoramento do comportamento do agente.
23:00 – 23:38Assistir
Como extrair o comportamento de um agente autônomo para que uma pessoa possa observá-lo e fazer sua curadoria?
É necessário capturar as informações e os sinais de comportamento gerados durante a execução do agente. Esses dados devem ser apresentados para que uma pessoa avalie se o agente está funcionando conforme o esperado e identifique a necessidade de ajustes.
28:31 – 29:06Assistir
Como monitorar a performance de agentes autônomos?
É preciso acompanhar o tempo total de execução, a latência, o volume de dados processados, o consumo por modelo e os recursos de infraestrutura, como CPU, memória e rede. Também é útil observar quais modelos são mais invocados e comparar desempenho entre diferentes modelos.
30:45 – 31:31Assistir
É útil usar um agente para observar e avaliar outro agente?
Sim, um agente avaliador pode verificar respostas, detectar incoerências e alucinações e fazer uma curadoria antes de encaminhar problemas à supervisão humana. Ele ajuda a mitigar falhas, mas não substitui a revisão humana; também deve ser monitorado para evitar que produza avaliações incorretas repetidamente.
38:39 – 39:10Assistir
Como uma execução de agente pode envolver vários modelos de linguagem?
Uma única requisição pode gerar vários traces e chamadas a modelos diferentes. A observabilidade mostra o tempo de resposta de cada modelo, permitindo comparar latência, custo e adequação ao objetivo da execução.
44:28 – 45:22Assistir
Como a AWS fornece monitoramento e observabilidade para agentes autônomos no Bedrock?
A AWS oferece o CloudWatch como ferramenta nativa de monitoramento. Ao usar agentes do Bedrock, são disponibilizados dashboards automáticos com métricas como invocações, latência, consumo de tokens e erros; também é possível criar dashboards personalizados e integrar logs, traces e métricas adicionais.
51:06 – 52:12Assistir
Como monitorar uma automação baseada em agentes autônomos?
Primeiro é necessário definir claramente o que a automação deve fazer e qual resultado se espera dela. Só então é possível escolher o que medir e acompanhar seu desempenho, comportamento e impacto.
1:05:43 – 1:06:05Assistir