Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

LangSmith

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

LangSmith é a ferramenta de observabilidade do ecossistema LangChain que rastreia cada execução de um agente: nós percorridos, modelos e ferramentas chamados, tokens e tempo de cada etapa.

Num sistema multiagente, a resposta final esconde quase tudo o que aconteceu até ela. O LangSmith abre essa caixa: para uma execução específica, mostra o caminho completo desde a mensagem do usuário até o resultado. Ele pertence ao mesmo ecossistema do LangChain e do LangGraph, e por isso lê o grafo de agentes na mesma estrutura de nós em que ele foi construído.

O que um rastreamento mostra

Um trace é organizado como a sequência de etapas pelas quais a execução passou. No QAssist, um pedido de análise de repositório aparece como: início, com a mensagem do usuário e o identificador da conversa; analisador de entrada; o roteador com a lista de agentes válidos preenchida e o agente escolhido; o agente que clona e analisa o código, com cada ferramenta que usou; o sintetizador, que monta as opções de próximo passo; e a finalização.

Em cada etapa aparecem:

  • a entrada e a saída daquela chamada, o que permite conferir, por exemplo, por que o roteador escolheu um agente e não outro;
  • quais ferramentas e quais modelos foram chamados;
  • a quantidade de tokens consumida;
  • o tempo de resposta da chamada.

Esse tempo é o dado mais direto para medir latência: a geração de um teste unitário a partir de um repositório já analisado levou cerca de 71 a 72 segundos, medidos no trace.

Por que rastrear um fluxo de agentes

O primeiro motivo é o custo. Ao construir um agente, a visão por etapa mostra quais trechos consomem mais e ajuda a decidir se um agente caro compensa. Também permite quebrar o fluxo em pedaços e analisar só a parte suspeita, em vez de olhar a execução inteira.

O segundo motivo são os comportamentos que ninguém vê de fora.

Loops silenciosos

Um fluxo de agentes pode entrar num loop ou numa recursão não intencional, como uma revisão que devolve para o interpretador repetidas vezes. A resposta final ainda chega, mas com custo e tempo multiplicados. Só o rastreamento da execução mostra isso.