Avaliação de Testes Gerados por LLMs
Ir para notas que citam estaAvaliação de testes gerados por LLMs é a linha de pesquisa que mede a qualidade estrutural dos testes produzidos por modelos de linguagem, usando o catálogo de Test Smells como régua.
A motivação é simples de enunciar e desconfortável de responder: se um modelo gera uma suíte em segundos, essa suíte presta? O uso de assistentes para escrever teste se espalhou mais rápido do que qualquer critério de aceitação do que eles devolvem, e medir isso exige um instrumento independente do próprio modelo — daí a escolha de reaproveitar o catálogo de problemas estruturais já validado para código de teste escrito por humanos.
A investigação se organiza em torno de duas formas de geração. Na abordagem code-to-code, o prompt recebe o código de produção e pede o teste correspondente. Na abordagem text-to-code, a entrada é uma especificação de comportamento, por exemplo em Behavior Driven Development, e o modelo parte do que deveria acontecer, não do que está implementado.
O que os estudos comparativos encontraram
Três estudos conduzidos em parceria entre grupos de pesquisa de estados diferentes do país cobrem ângulos complementares: a qualidade de testes em Python gerados por LLM, o uso do GitHub Copilot como gerador, e um levantamento mais amplo com vários modelos em sete linguagens de programação.
Comparando as duas abordagens de geração, nenhum modelo venceu nas duas. O Llama teve desempenho muito superior em text-to-code, partindo da especificação; o Amazon Bedrock foi superior em code-to-code; o GPT ficou no meio, sem se destacar em nenhuma das duas.
No estudo com sete linguagens, a versão paga do ChatGPT teve desempenho excepcional, seguida pelo Gemini e depois pelo Mistral. O recorte mais instrutivo, porém, é o das linguagens: as menos populares tiveram desempenho muito pior. Smalltalk é o exemplo citado, e a explicação provável é a escassez de código disponível para treino, que também aumenta a incidência de alucinações como a invocação de métodos que não existem.
Para verificar se essa vantagem se sustentava, foram usados testes metamórficos — alterações leves na estrutura do código para checar se a relação esperada entre entrada e saída se mantém coerente. A superioridade do modelo mais forte se confirmou também sob essas variações.
Quantos testes gerados carregam problemas estruturais
No estudo focado no GitHub Copilot em Python, metade dos testes gerados continha pelo menos um test smell, afetando cerca de 85% dos arquivos observados. Números frios, porém, dizem pouco sobre o custo real, e por isso os desenvolvedores que usaram a ferramenta na prática foram consultados. A queixa recorrente não era o teste falhar: era não dar para entender o que o teste verifica. Falta de clareza no código gerado consome tempo de manutenção e mina a confiança na suíte.
Onde o prompt sem calibragem falha
A geração de teste funcional a partir de especificação funciona razoavelmente bem. O resultado piora quando o objetivo é teste estrutural, aquele que percorre caminhos do código: um prompt sem qualquer técnica, aceito como vem, produz resultado ruim.
Calibrar o prompt melhora sensivelmente o resultado, mas o esforço só compensa quando o prompt é reaproveitado ou automatizado. Para uma geração pontual, o custo de Engenharia de Prompt pode superar o ganho.
Um caminho explorado para fechar o ciclo é acrescentar uma camada que avalie o próprio teste gerado, combinando modelos pequenos focados em um domínio específico com algoritmos evolucionários ou genéticos que selecionem, entre muitos testes produzidos, o subconjunto de melhor qualidade. Ainda não há solução madura para isso.
O que muda no papel do profissional de QA
A leitura defendida é que a IA não substitui o profissional de teste: eleva o patamar dele. O modelo pode assumir a geração de nível júnior ou pleno, liberando o QA para requisitos e visão de negócio — mas apenas sob uma condição dura, que é ser alimentado com uma massa de exemplos de teste bem construídos, não com qualquer exemplo. Isso mantém a Revisão Humana de Saídas de IA como parte do processo, não como etapa opcional.