Pular para o conteúdo
LabS Atlas
Agentic AI
Entrar
Sessões

Sessão de Bancada Observabilidade no Claude Code (2026-07-22)

22 jul 20261h 13min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou o conceito de observabilidade aplicado ao Claude Code, destacando sua importância para entender não apenas o custo final, mas também como e por que os recursos foram consumidos. Foi diferenciada a observabilidade do monitoramento: enquanto o monitoramento mostra o que aconteceu e quando, a observabilidade permite relacionar causas, eventos, logs, métricas e traces. Foram discutidos tokens de entrada, saída e cache, tempo de processamento, erros, chamadas de ferramentas, modelos utilizados, projetos, sessões, commits e linhas de código geradas como possíveis métricas. A OpenTelemetry foi apresentada como padrão para coletar e encaminhar esses dados a backends como Grafana e Prometheus, com o Claude Code podendo enviar métricas diretamente ou por meio de um coletor local.

Também foi ressaltado que a observabilidade é essencial para decisões técnicas e de negócio, como escolher modelos, avaliar planos, prever custos, dimensionar equipes e verificar se a redução de tokens mantém a mesma qualidade de entrega. A análise de uso revelou que projetos legados e com grandes contextos podem gerar custos elevados, reforçando a necessidade de refatoração e otimização. Foi demonstrado um protótipo com Docker, OpenTelemetry e Grafana para visualizar custos, modelos, sessões, erros e projetos, além dos painéis nativos da Anthropic. Como pontos em aberto, ficou combinado o compartilhamento dos slides e de um repositório com o protótipo, além de esclarecer e documentar melhor a configuração organizacional das variáveis de ambiente e o envio centralizado das métricas para todos os desenvolvedores de uma equipe.

Gerado por IA a partir da transcrição.
Capítulos · 30
00:11
Abertura e orientações sobre o chat
Assistir
04:35
Tema da sessão: observabilidade e custos de IA
Assistir
07:27
Custo-benefício dos modelos de IA
Assistir
08:46
Introdução ao Solutis Labs e à bancada de IA
Assistir
12:52
Objetivos da sessão e conceito de voar às cegas
Assistir
16:06
Observabilidade versus monitoramento
Assistir
21:39
Observabilidade como controle de custos no negócio
Assistir
24:49
Pergunta: além dos tokens, quais métricas observar?
Assistir
28:00
Métricas, logs, eventos e traces
Assistir
33:10
OpenTelemetry e mudanças nos padrões de IA
Assistir
35:00
Métricas do Cloud Code e dos modelos
Assistir
36:45
Tokens, tempo de uso, código e commits
Assistir
40:38
Analytics de uso e custos por modelo
Assistir
41:53
Cache de tokens e otimização de custos
Assistir
44:40
Telemetria, erros e consumo por projeto
Assistir
46:22
Sessões, modelos utilizados e agentes
Assistir
47:40
Protótipo de observabilidade e visualização de logs
Assistir
48:59
Visão de negócios e efetividade do gasto
Assistir
50:52
Planos, limites e extração de dados de uso
Assistir
52:07
Previsibilidade de custos e dimensionamento de planos
Assistir
54:46
Observabilidade para reduzir o consumo de tokens
Assistir
57:57
Integração do Cloud Code com OpenTelemetry e Grafana
Assistir
59:41
Métricas para avaliar MCPs, contexto e eficiência
Assistir
1:01:42
Como os dados chegam ao servidor de observabilidade
Assistir
1:04:41
Arquitetura cliente-servidor das métricas
Assistir
1:06:11
Monitoramento de equipes e dados da Anthropic
Assistir
1:09:11
Configuração organizacional e variáveis de ambiente
Assistir
1:10:24
Encerramento e disponibilização do repositório
Assistir
1:11:45
Pendências, acesso ao time e despedida
Assistir
1:13:08
Adição de participantes ao time
Assistir
Cortes · 9
Observabilidade: enxergar além do custo
A apresentação diferencia observabilidade de monitoramento e explica por que não basta saber quanto uma ferramenta de IA custou. O foco é entender o que aconteceu, por que aconteceu e como relacionar métricas, eventos, logs e traces para otimizar o uso do Cloud Code.
12:52 – 21:38Assistir
O custo imprevisível da IA nos projetos
A discussão aborda a observabilidade sob a perspectiva de negócio, destacando que limitar o orçamento de uma API não revela onde o dinheiro está sendo gasto. O grupo explica como modelos, prompts ineficientes e respostas longas podem gerar custos inesperados e usa a analogia de uma criança gastando um cartão com limite fixo.
21:39 – 24:50Assistir
Métricas, logs, eventos e traces
A apresentação responde quais dados podem ser observados além dos tokens e introduz o OpenTelemetry como padrão para coleta e exportação. São explicadas as diferenças entre métricas, logs, eventos e traces, incluindo um exemplo de rastreamento completo de uma requisição que passa por um agente e um processo de RAG.
26:36 – 33:10Assistir
De onde vêm as métricas do Cloud Code
O grupo esclarece a diferença entre as métricas geradas pelo harness do Cloud Code e pelos próprios modelos. Em seguida, apresenta métricas úteis como tokens de entrada e saída, cache, custo, linhas de código, commits, tempo ativo e decisões tomadas pelos agentes.
35:00 – 40:38Assistir
Analytics para controlar uso e eficiência
A demonstração mostra como os painéis de analytics exibem tokens, cache, limites, custos, erros, projetos, sessões, ferramentas e modelos utilizados. A conversa relaciona esses dados à tomada de decisões financeiras e à avaliação de eficiência, ressaltando que gastar mais tokens não significa necessariamente entregar mais valor.
40:38 – 50:51Assistir
Previsibilidade de custos e uso de IA
A discussão mostra como acompanhar o consumo de créditos e tokens ajuda indivíduos e organizações a escolher o plano adequado, prever gastos e dimensionar equipes. Também é apresentado um caso em que o monitoramento revelou excesso de contexto e motivou a refatoração de uma aplicação legada.
52:07 – 57:56Assistir
Como medir tokens, custos e impacto das mudanças
Os participantes explicam a montagem de um ambiente com Docker, OpenTelemetry e Grafana para extrair métricas do Cloud Code, incluindo modelos utilizados, tokens de entrada e saída e custos. Também discutem a importância de comparar o consumo antes e depois de adicionar MCPs, skills ou outras otimizações.
57:57 – 1:01:42Assistir
Fluxo das métricas até o Grafana
A conversa esclarece como os dados saem do Cloud Code e chegam a ferramentas como Grafana ou Prometheus. É explicado o papel do Harness, do código coletor e do OpenTelemetry, em uma arquitetura cliente-servidor que pode funcionar localmente ou enviar as métricas para um servidor na nuvem.
1:01:42 – 1:06:11Assistir
Monitoramento centralizado para equipes
Os participantes explicam como uma organização pode monitorar vários desenvolvedores sem exigir uma instalação individual de toda a infraestrutura. A configuração pode ser aplicada globalmente por meio da conta, do projeto e de variáveis de ambiente, enviando o uso do time para um Grafana ou Prometheus.
1:06:11 – 1:09:14Assistir
Perguntas desta sessão
Além dos tokens de entrada e saída, quais dados devem ser analisados para garantir a observabilidade do uso de IA, e como esses dados podem ser coletados?
A observabilidade não se limita aos tokens. Também podem ser analisados custo, quantidade de agentes, eficiência dos agentes, sessões, projetos, modelos e outras métricas que permitam relacionar o consumo ao comportamento do sistema. A coleta pode seguir padrões e boas práticas de observabilidade, usando ferramentas de telemetria e um padrão como o OpenTelemetry, com dados provenientes da aplicação, do harness e dos provedores de modelos.
25:25 – 28:45Assistir
o harness do Claude Code ou o provedor do modelo?
As métricas podem vir de fontes diferentes. O harness do Claude Code gera dados sobre agentes, utilização, projeto, caminho e sessões, enquanto o provedor do modelo gera métricas relacionadas ao modelo e à API, como custo e características da requisição. Há alguma sobreposição, mas as fontes não enviam exatamente as mesmas métricas.
35:03 – 36:47Assistir
O que as métricas de observabilidade do Claude Code conseguem mostrar em números?
Elas mostram consumo e operação da IA em diferentes dimensões: tokens de entrada e saída, cache de tokens, custo, limite de taxa, modelos utilizados, sessões, usuários, projetos, ferramentas chamadas e erros. Também permitem analisar o consumo ao longo do tempo, comparar modelos e identificar quais projetos ou pessoas estão gastando mais.
40:44 – 43:26Assistir
Como avaliar o impacto de adicionar um MCP ou uma skill no consumo de tokens e no custo de uma aplicação?
É importante comparar as métricas antes e depois da mudança para verificar se a redução de contexto e tokens realmente ocorreu, se o custo diminuiu e se a efetividade do trabalho foi mantida. Reduzir tokens só é vantajoso quando não prejudica a entrega.
1:00:07 – 1:01:42Assistir
Como os dados de uso do Claude Code chegam ao Grafana ou ao Prometheus?
O Claude Code pode enviar métricas diretamente ou encaminhá-las a um coletor OpenTelemetry local. Esse coletor funciona como intermediário e envia os dados a um servidor, que os processa, armazena e exibe em ferramentas como Grafana ou Prometheus. Também é possível executar localmente, via Docker Compose, componentes que coletam os dados das pastas e os disponibilizam para visualização.
1:02:24 – 1:05:48Assistir
Em uma organização com vários desenvolvedores usando Claude Code, cada desenvolvedor precisa instalar e configurar individualmente uma ferramenta para enviar métricas ao servidor?
Não necessariamente. O monitoramento pode ser configurado no nível da conta ou da organização, permitindo que o administrador defina as variáveis de ambiente e o destino das métricas uma única vez. Assim, o uso dos desenvolvedores pode ser encaminhado para um Grafana ou Prometheus central, sem exigir a instalação individual do OpenTelemetry em cada máquina.
1:05:53 – 1:09:30Assistir
A Anthropic fornece uma API para consultar ou encaminhar diretamente os dados de métricas do Claude Code?
O padrão descrito na documentação é o próprio Claude Code enviar as métricas usando OpenTelemetry para os clientes ou para a infraestrutura da organização. A coleta pode ser feita diretamente pelo Claude Code ou por um coletor OpenTelemetry, que encaminha os dados ao backend de observabilidade.
1:07:24 – 1:08:23Assistir