Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

ChatGPT versus Gemini na Interpretação de Artefatos

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

ChatGPT versus Gemini na interpretação de artefatos é o exercício de enviar o mesmo artefato e o mesmo prompt às duas ferramentas para confrontar precisão, estilo, suporte a arquivos e erros.

O exercício nasce de uma necessidade prática da Interpretação de Artefatos com IA: antes de confiar numa resposta para planejar testes, é preciso saber o quanto cada ferramenta acerta, o que ela inventa e que tipo de ajuda ela oferece. O mesmo método vale para imagens de protótipo, documentação técnica, código-fonte ou um pedido de geração de testes.

Como montar a comparação

O artefato e o texto do pedido são idênticos para todas as ferramentas, enviados quase ao mesmo tempo. A primeira rodada usa um pedido aberto, como interpretar a imagem, sem antecipar o que se espera da resposta; assim se mede o que cada modelo enxerga sozinho. As rodadas seguintes são direcionadas: perguntar o que, como e onde testar pedindo que o modelo assuma o papel de um profissional de testes, técnica de Engenharia de Prompt, e depois pedir testes com foco em precisão, robustez, generalização e usabilidade. Uma forma simples de consolidar é marcar um ponto por rodada vencida. Toda resposta é conferida contra o artefato original por alguém que conhece o domínio.

Achados na leitura de um protótipo de tela

Com a imagem de um formulário de cadastro de livro, o ChatGPT com suporte a imagens descreveu cada elemento de forma literal: logo, barra de navegação, campos de nome, ISBN, editora e categoria (estes como dropdown com valor pré-selecionado), seção de imagens, quantidade e checkbox de produto ativo. Não errou, mas também não foi além do pedido. As duas ferramentas notaram um aviso quase invisível de tamanho mínimo de imagem.

O Gemini gratuito confundiu seções, agrupou os botões de limpar e salvar só na parte de estoque quando eles pertencem ao cadastro inteiro e afirmou que o livro fora publicado em 2020, dado inexistente na tela: um caso claro de Alucinação. Em compensação, sugeriu campos ausentes que fariam sentido (idioma, resumo, preço) e, ao gerar testes, lembrou de trocar o idioma da interface e de verificar acessibilidade, pontos que o ChatGPT não trouxe. Nas perguntas direcionadas, os dois chegaram a cerca de cinco categorias de teste; o Gemini explicou cada item com mais cuidado. Nenhum dos dois sugeriu testes espontaneamente quando só foi pedido para interpretar.

Achados com documentação, código e testes unitários

Com uma especificação Swagger, o GPT-4 identificou a versão OpenAPI 3.1 e detalhou mais endpoints e esquemas; o Gemini ficou mais básico e chegou a sugerir teste de interface para uma API sem interface. Com um projeto compactado em ZIP, só o GPT leu o arquivo, já que o Gemini gratuito aceitava apenas texto colado e imagens; o GPT gratuito, por sua vez, limitava o envio a um ZIP por dia. A URL de um repositório, sozinha, não bastou para nenhum dos dois. O placar dessa rodada terminou 4 a 0 para o GPT-4.

Num pedido de testes com Jasmine para um projeto Angular, enviado a Bing, ChatGPT gratuito e Gemini, o Bing respondeu em tópicos mas gerou código que não executava; o ChatGPT foi direto e errou num enum; o Gemini foi o mais didático, porém dois de quatro links de referência estavam quebrados e ele traduziu nomes de propriedades para o português, quebrando o teste. O tema se aprofunda em Geração de Testes Unitários com IA.

Como ler os resultados

O padrão recorrente é um trade-off de perfil: respostas diretas e mais precisas servem melhor a quem já tem experiência, enquanto respostas didáticas e com sugestões ajudam quem está começando, ao custo de mais erros para revisar.

Resultados datados

Esses achados descrevem as versões testadas, não uma verdade permanente. O lançamento do GPT-4o, por exemplo, mudou a percepção de que o Gemini gratuito era superior, e novas versões podem inverter o placar. Refaça a comparação antes de decidir.

Enviar código real a uma ferramenta de uso geral traz risco de exposição de segredos; a comparação deve usar artefatos públicos ou mascarados, questão tratada em Modelo Local versus API Paga.