Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar
Sessões

Learning Prototype Geração de Testes de API a partir do Swagger e Custo de Tokens (2025-06-05)

5 jun 202546min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou um protótipo para geração automatizada de testes de API a partir de documentação Swagger. A solução extrai do endpoint informações como método HTTP, URL, parâmetros, tipos de dados e exemplos de requisição, organiza esse conteúdo por meio de lógica convencional e só então utiliza um modelo de linguagem para gerar cenários de teste, reduzindo significativamente o consumo de tokens em comparação com o envio do Swagger bruto. Também foi demonstrada a geração de documentação em Markdown, posteriormente convertida para HTML e PDF, além do registro de entradas, saídas e custos das chamadas ao modelo.

Os testes realizados indicaram que o protótipo conseguiu criar cenários de sucesso e de erro, identificar conflitos como e-mails já cadastrados e produzir explicações dos resultados. A preparação cuidadosa dos dados de entrada, as regras de saída e a distinção entre endpoints semelhantes reduziram bastante as alucinações, embora ainda tenham surgido problemas no projeto testado, como retornos 500 inesperados e dados de exemplo repetidos. Também foi discutido que a solução possui características de agente, como geração de tarefas, execução de ações, histórico resumido e possível chamada de outras funções, mas ainda não constitui um agente completo por ter autonomia limitada.

Como conclusão, destacou-se que a arquitetura deve priorizar custo-benefício, usando modelos menores ou lógica determinística em etapas simples e reservando modelos mais caros para tarefas que realmente exigem raciocínio. Permaneceram em aberto o refinamento dos prompts e das validações, a correção dos erros da API, a evolução do protótipo para uma abordagem mais agentiva e a possível integração com MCP e outros projetos. Também foi sugerido publicar o código para revisão técnica e continuar avaliando consumo de tokens, qualidade dos testes e alternativas de implementação.

Gerado por IA a partir da transcrição.
Capítulos · 26
00:03
Apresentação do projeto e uso de IA
Assistir
01:20
Custos de tokens, RAG e agentes
Assistir
02:37
Otimização de custos e uso de modelos menores
Assistir
03:53
Arquitetura de agentes: modelo, dados e memória
Assistir
06:26
Contexto do projeto e demonstração inicial
Assistir
07:45
Código para economizar tokens
Assistir
09:07
Extração de informações do Swagger
Assistir
10:24
Comparação de consumo entre IA e código
Assistir
11:37
Parsing estruturado sem usar IA
Assistir
12:53
Configuração do agente e monitoramento de tokens
Assistir
14:14
Formato de saída e prevenção de alucinações
Assistir
16:47
Sanitização e diferenciação de requisições
Assistir
19:19
Prompts, regras e geração de tarefas
Assistir
21:55
O que caracteriza um agente
Assistir
23:10
Ações e execução de tarefas pelo agente
Assistir
24:26
Markdown para gerar PDFs
Assistir
25:46
Execução prática dos testes de API
Assistir
28:23
Consumo de tokens durante a execução
Assistir
29:38
Raciocínio, histórico e contexto resumido
Assistir
32:13
Documentação gerada e análise dos resultados
Assistir
33:36
Testes inválidos e tratamento de erros
Assistir
36:28
Nova execução e geração de testes
Assistir
37:53
Avaliação das tarefas criadas pelo agente
Assistir
40:22
Resultados da prova de conceito
Assistir
41:37
Custo-benefício e encerramento da apresentação
Assistir
42:57
Próximos passos, revisão de código e MCP
Assistir
Cortes · 5
Custos e arquitetura de agentes
A discussão explora como modelos, embeddings, RAG, memória, ferramentas e raciocínio influenciam o custo de uma solução com agentes. Também são apresentados critérios para decompor e avaliar diferentes tipos de agentes, incluindo o uso de modelos menores para tarefas específicas.
01:20 – 06:25Assistir
Reduzindo tokens com processamento determinístico
É demonstrado um pequeno código que lê a especificação de uma API e gera um resumo estruturado com método HTTP, URL, parâmetros e exemplos de requisição. A abordagem evita enviar toda a documentação para a inteligência artificial, reduzindo significativamente o consumo de tokens.
09:07 – 12:53Assistir
Prompt estruturado e limites entre automação e agente
A apresentação mostra como o sistema recebe informações estruturadas, usa exemplos de saída e regras para reduzir alucinações e identificar corretamente métodos e parâmetros de uma API. Em seguida, o grupo discute por que essa solução ainda é mais próxima de uma automação especializada do que de um agente autônomo.
12:53 – 23:11Assistir
Geração de documentação em Markdown e PDF
O projeto transforma as tarefas e respostas geradas em Markdown, que depois é convertido para HTML e PDF por bibliotecas específicas. A escolha do formato reduz o custo de tokens e facilita a produção de uma documentação visualmente organizada.
24:26 – 27:01Assistir
Demonstração de testes automatizados de API
O sistema recebe uma URL e um pedido para criar testes, gera cenários de sucesso e erro, executa as requisições e produz uma documentação com os resultados. A demonstração revela problemas reais da API, como e-mails já cadastrados, campos inválidos e respostas inesperadas, além de mostrar como o agente organiza e explica esses achados.
27:02 – 42:58Assistir
Perguntas desta sessão
Quais informações precisam ser extraídas do Swagger/OpenAPI para gerar os testes de API?
É necessário extrair a URL base, o endpoint, o método HTTP, os parâmetros, os tipos de dados e, quando disponíveis, exemplos de requisição. Essas informações são organizadas em um texto resumido para orientar a geração dos testes.
08:54 – 10:28Assistir
Como o processamento do Swagger reduz o consumo de tokens antes de enviar informações ao modelo?
O código usa uma lógica determinística, incluindo regex e filtragem, para ler o JSON do Swagger e selecionar apenas dados relevantes, como endpoint, método, URL base, parâmetros e tipos. Assim, evita enviar o documento bruto ao modelo e reduz o contexto para poucas dezenas de tokens.
12:29 – 13:06Assistir
O que o modelo entrega quando o endpoint e os dados de entrada são previamente refinados?
Com a entrada estruturada e descritiva, o modelo tende a produzir uma saída mais precisa e apresenta baixa probabilidade de alucinação. O refinamento organiza o endpoint, o método HTTP e os parâmetros antes do envio ao modelo.
15:25 – 16:15Assistir
Um fluxo que gera tarefas e executa requisições pode ser considerado um agente?
Não necessariamente. Um agente precisa ter autonomia para avaliar a situação, raciocinar sobre a resposta e acionar ferramentas ou ações. Um fluxo que apenas recebe instruções, gera uma saída estruturada e executa etapas predeterminadas se aproxima mais de um assistente ou de um fluxo com funções.
21:51 – 23:08Assistir
Qual é o papel do prompt de sistema no gerador de documentação?
O prompt de sistema orienta o comportamento do gerador, definindo seu papel e as regras para produzir a documentação. Ele ajuda a direcionar a resposta, mas não transforma sozinho o fluxo em um agente autônomo.
22:19 – 22:45Assistir
O que um agente precisa fazer além de gerar uma resposta?
Um agente precisa executar ações, e não apenas responder. Isso pode incluir usar ferramentas, realizar requisições, avaliar resultados e decidir os próximos passos com algum grau de autonomia.
23:56 – 24:15Assistir
Quais testes de API o protótipo gerou a partir do prompt?
O protótipo gerou testes para registro com e-mail inválido, e-mail ausente, senha ausente ou vazia e outros cenários negativos. Quando os dados necessários não são informados, a geração tende a ficar mais genérica.
29:43 – 30:03Assistir
Como o protótipo usa raciocínio e histórico durante a geração dos testes de API?
O protótipo faz um raciocínio sobre as tarefas e mantém um pequeno histórico do que já foi feito. O contexto completo não é salvo por padrão, porque mantê-lo nas interações aumenta o consumo de tokens; uma alternativa é resumir o contexto e encaminhá-lo para outra etapa ou agente.
30:26 – 31:47Assistir
Qual teste de API foi criado para o cenário de cadastro com login já existente?
Foi criado um teste de registro usando um e-mail ou login já cadastrado. O protótipo identificou que o cadastro deveria falhar nesse caso e associou o cenário ao erro de recurso existente, embora a execução tenha apresentado inconsistências no retorno.
38:40 – 39:16Assistir