LangSmith
Ir para notas que citam estaLangSmith é a ferramenta de observabilidade do ecossistema LangChain que rastreia cada execução de um agente: nós percorridos, modelos e ferramentas chamados, tokens e tempo de cada etapa.
Num sistema multiagente, a resposta final esconde quase tudo o que aconteceu até ela. O LangSmith abre essa caixa: para uma execução específica, mostra o caminho completo desde a mensagem do usuário até o resultado. Ele pertence ao mesmo ecossistema do LangChain e do LangGraph, e por isso lê o grafo de agentes na mesma estrutura de nós em que ele foi construído.
O que um rastreamento mostra
Um trace é organizado como a sequência de etapas pelas quais a execução passou. No QAssist, um pedido de análise de repositório aparece como: início, com a mensagem do usuário e o identificador da conversa; analisador de entrada; o roteador com a lista de agentes válidos preenchida e o agente escolhido; o agente que clona e analisa o código, com cada ferramenta que usou; o sintetizador, que monta as opções de próximo passo; e a finalização.
Em cada etapa aparecem:
- a entrada e a saída daquela chamada, o que permite conferir, por exemplo, por que o roteador escolheu um agente e não outro;
- quais ferramentas e quais modelos foram chamados;
- a quantidade de tokens consumida;
- o tempo de resposta da chamada.
Esse tempo é o dado mais direto para medir latência: a geração de um teste unitário a partir de um repositório já analisado levou cerca de 71 a 72 segundos, medidos no trace.
Por que rastrear um fluxo de agentes
O primeiro motivo é o custo. Ao construir um agente, a visão por etapa mostra quais trechos consomem mais e ajuda a decidir se um agente caro compensa. Também permite quebrar o fluxo em pedaços e analisar só a parte suspeita, em vez de olhar a execução inteira.
O segundo motivo são os comportamentos que ninguém vê de fora.
Um fluxo de agentes pode entrar num loop ou numa recursão não intencional, como uma revisão que devolve para o interpretador repetidas vezes. A resposta final ainda chega, mas com custo e tempo multiplicados. Só o rastreamento da execução mostra isso.