Pular para o conteúdo
LabS Atlas
Agentic AI
Entrar

AgentOps

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

AgentOps é a disciplina de operar agentes autônomos em produção, aplicando a eles os princípios de observabilidade e monitoramento já consolidados em DevOps e SRE.

A motivação é a diferença entre automação determinística e agente autônomo. Uma automação faz sempre o mesmo caminho; um agente decide o caminho a cada execução, e essa autonomia produz desvios que só aparecem depois do impacto. A analogia usada para descrever o problema é a de entregar um cartão de crédito a um adolescente e deixá-lo sozinho num parque de diversões: por mais bem-intencionado que ele seja, o ambiente é cheio de estímulos, e a conta só chega no fim do dia, quando o limite já estourou. Colocar um agente em produção sem instrumentação é o equivalente técnico disso.

AgentOps cobre o ciclo de vida inteiro, do desenvolvimento à operação. Ferramentas e instrumentação concreta ficam em Observabilidade de Agentes; aqui o foco é o que precisa ser observado e por quê.

As duas leituras do termo

O termo comporta duas linhas distintas, e confundi-las atrapalha a conversa. Na primeira, o agente é o objeto observado: monitora-se a execução de agentes que cumprem funções de negócio, para entender o que fizeram, como e por quê. Na segunda, o agente é o instrumento: usam-se agentes de IA para monitorar a operação e a infraestrutura, ocupando o lugar das ferramentas tradicionais de monitoramento.

Perguntas que uma execução precisa responder

Um agente de suporte a chamados, por exemplo, recebe e envia e-mails, cria e atualiza tickets, consulta dados internos e externos, usa ferramentas e aciona outros agentes. Cada uma dessas ações é uma pergunta em aberto: ele consultou a documentação certa ou uma que não servia para aquela tarefa? Quais APIs e ferramentas usou? Quanto tempo levou? Quantos tokens consumiu? Conversou com outros agentes e ficou preso num ciclo? Quantos modelos diferentes entraram numa única execução? Quanto custou essa execução? Sem registro dessas respostas, sobra apenas o resultado final e nenhuma explicação para ele.

Cinco dimensões do que monitorar

  • Comportamento: o caminho passo a passo da decisão, as ferramentas e modelos escolhidos, a aderência às instruções, a comunicação com outros agentes e padrões inesperados como loops. Quando o agente gera texto que chega a pessoas, análise de sentimento da saída também é sinal de comportamento.
  • Segurança: dados sensíveis trafegando em prompts, informação pessoal em logs, ações fora de escopo e políticas de acesso a ferramentas externas. Um caminho eficaz é tratar o agente como usuário do sistema, com credencial, diretório e permissões próprias, criando um guard-rail sistêmico que limita seu raio de ação.
  • Performance: latência, tempo total de execução, volume de dados processado e, em arranjos híbridos, consumo de CPU, memória e rede.
  • Custo e eficiência: tokens consumidos, custo de chamadas externas e comparação de custo entre modelos. Um agente com RAG tem dois custos distintos, o da consulta e o de preparar a base antes.
  • Qualidade: aderência e coerência das respostas, feedback de quem está na ponta e detecção de alucinações.

Até onde um agente pode monitorar outro

O debate sobre delegar o monitoramento a outro agente não fechou num lado só, e o trade-off vale registro. Para infraestrutura, custo e performance, monitoramento automatizado funciona bem: são grandezas objetivas que o olhar humano não alcança em escala. Para qualidade e adequação de respostas dirigidas a pessoas, a posição defendida foi manter o julgamento humano, com o agente atuando como camada que estrutura e filtra a informação antes de chegar a alguém, e não como substituto da revisão. É o papel de LLM as a Judge e de Guardrails bem definidos.

Important

Não se monitora uma automação sem saber o que ela deveria fazer. Quando o objetivo da automação não está claro, não há métrica possível: se não se sabe o que esperar, não se sabe o que medir. A clareza de objetivo é pré-requisito de AgentOps, não consequência dele.