Pular para o conteúdo
LabS Atlas
Agentic AI
Entrar
Sessões

Tech Talk Observabilidade de Agentes de IA (2026-06-11)

11 jun 20261h 21min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou a importância da observabilidade em agentes e sistemas multiagentes de IA, destacando que ela deve ser considerada desde o início do desenvolvimento. Foram discutidos os problemas da “caixa preta” dos modelos, a necessidade de rastrear decisões, chamadas de ferramentas, estados, tokens, custos, latência e erros, além do uso de escopos bem definidos, governança, versionamento, human-in-the-loop e checkpoints. LangGraph foi apresentado como uma opção que oferece maior controle do fluxo, enquanto LangSmith, LangFuse, Phoenix e LangWatch foram citados como ferramentas de tracing, avaliação e monitoramento, com diferenças de integração, custo e possibilidade de hospedagem própria.

A demonstração prática usou uma reimaginação do projeto QAssist, com mais de vinte agentes especializados para interpretar repositórios, planejar tarefas e gerar artefatos de teste. O fluxo mostrou roteamento entre agentes, uso de ferramentas, pausas para aprovação humana, identificação de sessões por thread ID, visualização em tempo real e acompanhamento de custos e tokens. Também foi mostrado como a observabilidade ajuda a detectar saídas malformadas, cancelamentos, falhas de execução e divergências entre o comportamento esperado e o real. Como pontos em aberto, ficou a possibilidade de disponibilizar o projeto para testes, aprofundar a classificação e automação de erros, integrar alertas e avaliações contínuas e explorar cenários de testes de estresse e recuperação automática.

Gerado por IA a partir da transcrição.
Capítulos · 20
02:37
Abertura e boas-vindas
Assistir
07:31
Introdução ao tema: observabilidade de agentes
Assistir
11:59
O desafio da caixa-preta e o controle dos agentes
Assistir
25:58
Frameworks de observabilidade e comparação de ferramentas
Assistir
25:58
Instrumentação, custos, latência e avaliação
Assistir
25:58
Reimaginação do projeto QAssist
Assistir
38:41
Arquitetura multiagente e observabilidade centralizada
Assistir
44:08
Perguntas sobre observabilidade nas ferramentas
Assistir
46:14
Demonstração da nova interface do QAssist
Assistir
49:13
Mapa de agentes, ferramentas e fluxos
Assistir
51:16
Capacidades dos agentes e observabilidade
Assistir
53:09
Escolha de modelos e provedores
Assistir
54:57
Fluxo de execução e tracing
Assistir
1:04:49
Feedback sobre a interface observável
Assistir
1:06:05
Demonstração em tempo real e geração de artefatos
Assistir
1:12:21
Camadas de observabilidade e tipos de erro
Assistir
1:15:05
Automação e tratamento de erros multiagentes
Assistir
1:16:57
Observabilidade antes e depois do LLM
Assistir
1:18:37
Erro de cancelamento e consumo de tokens
Assistir
1:20:28
Encerramento e boas práticas
Assistir
Cortes · 10
Por que observar agentes de IA
A apresentação explica por que a observabilidade deve ser considerada desde o início em sistemas de agentes e por que logs simples não são suficientes. São discutidos os desafios da “caixa preta”, rastreabilidade, governança, custos, latência, controle no LangGraph e ferramentas como LangSmith e LangFuse.
11:59 – 25:55Assistir
Ferramentas e arquitetura do QAssist
O apresentador compara ferramentas de observabilidade, incluindo LangSmith, LangFuse, Phoenix e LangWatch, destacando custos, limitações e opções open source. Em seguida, apresenta a reimaginação do QAssist, com arquitetura em camadas, mais de 20 agentes, provedores de modelos configuráveis e diferentes funções para interpretação e geração.
25:58 – 38:40Assistir
Observabilidade centralizada na prática
É mostrado como integrar LangSmith e LangFuse em um sistema multiagente, usando Thread ID para agrupar as interações de uma conversa e acompanhar seu ciclo de vida. O trecho também aborda seleção de modelos conforme a tarefa, custos de tokens, checkpoints e a implementação necessária para instrumentar o sistema.
38:41 – 44:07Assistir
Observabilidade para antecipar falhas
Em resposta a uma pergunta, o apresentador diferencia logs tradicionais e observabilidade de modelos: os logs mostram que algo quebrou, enquanto a instrumentação ajuda a identificar como e por que o agente está se comportando daquela forma. Ele também comenta o nível atual de observabilidade nas ferramentas da empresa.
44:08 – 46:14Assistir
Mapa de agentes e ferramentas do QAssist
A demonstração apresenta a interface do QAssist reimaginado, com histórico de conversas, análise de repositórios, fluxo de agentes e um mapa que mostra responsabilidades, ferramentas e caminhos possíveis. São detalhados agentes de interpretação e geração, além de recursos como acesso a repositório, base de conhecimento, pesquisa web e execução de testes.
46:14 – 51:16Assistir
Capacidades dos agentes e escolha de modelos
A demonstração apresenta os diferentes tipos de agentes, suas capacidades, arquivos e ferramentas, além da configuração de provedores e modelos. O destaque é a importância de alinhar o modelo utilizado ao tipo de tarefa e de comparar o que o frontend informa com o que realmente acontece na observabilidade.
51:16 – 54:52Assistir
Rastreando a execução de um sistema multiagente
O fluxo de interpretação de um repositório é acompanhado passo a passo, desde o planejamento e roteamento até a análise pelo agente responsável. A demonstração mostra os traces no LangSmith e no Langfuse, incluindo nós, metadados, sessões, chamadas de modelo, custos, latência e caminhos percorridos, além de uma pausa de decisão humana no meio do fluxo.
54:57 – 1:04:49Assistir
Geração de artefatos em tempo real
A sessão mostra o sistema analisando uma documentação de API e sugerindo artefatos como casos de teste, roteiros e testes funcionais. Em seguida, um artefato é gerado em tempo real, com o agente lendo a especificação OpenAPI, produzindo casos de teste e registrando todo o processo na observabilidade.
1:06:05 – 1:12:20Assistir
Camadas de observabilidade e automação de erros
A discussão explica em que nível frameworks como LangSmith e LangGraph atuam e quais tipos de erros podem ser identificados entre agentes. Também são exploradas automações para notificar falhas, corrigir respostas incompatíveis e executar testes de estresse com usuários simulados.
1:12:21 – 1:16:57Assistir
Identificação de erros durante o streaming
A demonstração provoca um erro ao recarregar a página durante a geração de uma resposta e mostra como a plataforma registra o cancelamento. O trecho explica a diferença entre erros genéricos e específicos, o impacto em tokens e custos e como respostas fora do escopo também podem ser tratadas como falhas.
1:16:57 – 1:20:31Assistir
Perguntas desta sessão
As ferramentas da Adas Solutis já oferecem recursos de observabilidade para sistemas de IA, além do monitoramento de custos?
Atualmente, as ferramentas oferecem principalmente observabilidade relacionada ao custo de tokens. A identificação de bugs fica a cargo do backend e de seus logs. A observabilidade específica dos modelos e agentes é necessária para detectar falhas, entender por que elas ocorreram e antecipar problemas futuros.
44:37 – 46:16Assistir
Como a observabilidade de sistemas multiagentes pode ser visualizada em tempo real durante a execução de uma requisição?
A interface exibe o fluxo de execução à medida que ele acontece, mostrando os agentes, nós e ferramentas acionados, os arquivos lidos, as respostas geradas e o estado de cada etapa. Também é possível acompanhar pausas para aprovação humana, visualizar o tracing completo e observar quando uma etapa termina, continua em execução ou falha.
1:04:56 – 1:12:20Assistir
Em que nível os frameworks de observabilidade operam e quais tipos de erro eles conseguem detectar em sistemas multiagentes?
Eles acompanham a execução dos grafos e observam as chamadas realizadas pelos agentes e nós. Além de erros comuns de sistema e operação, detectam falhas do LLM, cancelamentos e entradas ou saídas malformadas. Por exemplo, conseguem identificar quando um agente envia um formato diferente daquele esperado pelo próximo agente, causando falha no processamento.
1:12:21 – 1:15:04Assistir
É possível automatizar alertas e testes de estresse para detectar e corrigir erros de comunicação entre agentes?
Sim. Um erro identificado pode gerar automaticamente uma mensagem de alerta, inclusive por canais externos, e outra camada pode tentar corrigi-lo. Também é possível usar dados simulados e uma IA atuando como usuário para executar testes de estresse, detectar falhas nos fluxos e orientar os ajustes. O LangGraph facilita essa automação por permitir criar camadas de defesa e escalar os fluxos.
1:15:05 – 1:16:58Assistir