Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

Testes Autônomos com IA

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Testes autônomos com IA é a linha de exploração que usa modelos de linguagem para interpretar uma aplicação, gerar artefatos de teste e executá-los com o mínimo de intervenção humana.

A ideia parte de uma pergunta simples: dada uma aplicação, a IA conseguiria entender o que a tela exibe, escrever o teste correspondente e rodá-lo sozinha? A investigação do papel de QA com IA generativa mostrou que, apenas com prompts diretos, a resposta é não. Gerar histórias de usuário, cenários e roteiros de aceitação funciona bem, mas fechar o ciclo exige construir uma solução ao redor do modelo. Essa constatação deu origem a um ciclo de exploração organizado em três atos.

O objetivo declarado não é substituir o teste manual, e sim criar um mecanismo complementar, aplicável a sistemas legados, a aplicações em primeiro contato e a sistemas já em produção.

Os três atos: interpretação, geração e acionamento

O primeiro ato é a Interpretação de Artefatos com IA. A partir de um artefato (imagem ou protótipo, documentação técnica, código-fonte ou repositório), a pergunta geradora é o que, como e onde testar. Os entregáveis obrigatórios são uma visão geral ou resumo, sugestões de teste e percepções sobre o quanto a IA ajudou; comparar ferramentas diferentes é desejável.

O segundo ato é a geração de artefatos de teste: cenários ou casos de teste, critérios de aceitação, scripts automatizados, massa de dados e gatilhos de execução. Aqui também se pede visão geral e percepções, e a comparação entre ferramentas segue como desejável.

O terceiro ato é o acionamento. A IA opera a aplicação, preenche formulários com os dados gerados, valida entradas e saídas, simula perfis diferentes de usuário e produz logs legíveis do que fez. Ao encontrar um bug, a intenção é registrá-lo com evidência, como uma captura de tela, e abrir automaticamente um card numa ferramenta de gestão, com log e explicação do ocorrido. Os três atos convergem para um encerramento em que uma automação única interpreta, gera e testa a aplicação de ponta a ponta.

Cada ato funciona como um desafio que pode ser feito individualmente ou em dupla, com recompensa definida pelo Mural de Desafios. Trazer um problema real do próprio trabalho é incentivado, porque a troca com o grupo melhora a solução de quem apresenta.

O que a exploração mostrou na prática

As primeiras rodadas ficaram presas às interfaces de chat, comparando qual ferramenta interpretava melhor um protótipo ou gerava uma massa de teste melhor. O passo seguinte foi rodar modelos localmente com Ollama, por privacidade, e usar um Jupyter Notebook como roteiro de automação: uma célula guarda o prompt de sistema e o de usuário, outra chama o modelo, outra limpa a resposta com uma expressão regular para extrair só o código do teste, que então é executado.

Ainda não é autônomo de ponta a ponta

A geração de testes com IA se mostrou viável, mas experimental. O fluxo depende de um script orquestrador que integre a conversa com o modelo, a geração do artefato e a sua execução. Um fluxo totalmente autônomo, equivalente a uma automação robótica integrada à IA, exigiria um esforço de construção caro demais com as ferramentas disponíveis.

Por isso o foco se concentrou nas etapas de interpretação e geração, e a exploração evoluiu para agentes encadeados: um que interpreta, um que gera e um que aciona. Esse caminho, apelidado de Bug Busters, desembocou no QAssist. A velocidade da área também ficou evidente: cerca de um ano depois, linguagens e frameworks de acesso a modelos usados no início já tinham sido substituídos.