Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

Prompt Smells

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Prompt smells são padrões de má construção de prompts, análogos aos Test Smells, investigados a partir de como os prompts de projetos de software evoluem no histórico de commits de repositórios abertos.

A transposição do conceito faz sentido porque o prompt virou artefato versionado como qualquer outro: entra no repositório, é alterado, refatorado e revertido ao longo da vida do projeto. Se o tipo e a qualidade da técnica empregada afetam diretamente a eficácia das tarefas de desenvolvimento — resultado já estabelecido nos estudos de Engenharia de Prompt, que mostram não existir bala de prata válida para toda tarefa —, então existem formas recorrentes de construir prompt mal, e elas podem ser catalogadas.

O histórico de commits como fonte de evidência

A base do trabalho é um dataset de evolução de prompts montado a partir de vários projetos de código aberto, descrito como o primeiro do gênero, construído em parceria com pesquisadores de um laboratório de pesquisa industrial e de uma universidade norte-americana.

A análise olha os commits de forma agregada entre projetos, sem isolar pessoa ou projeto específico. O que se procura são os padrões mais comuns de mudança: o que costuma ser acrescentado a um prompt, o que é removido, o que caracteriza uma refatoração de prompt e quais alterações se repetem com mais frequência ao longo do tempo. A partir desses padrões de evolução é que se pretende chegar ao catálogo de problemas e aos seus impactos.

Uma limitação em aberto no método

O modelo que mede a evolução também tem vieses

Não foi avaliado se o modelo usado para analisar a evolução dos prompts já carregava crenças prévias capazes de distorcer a conclusão de que houve evolução genuína, em vez de mera reorganização. O ponto é reconhecido como limitação, não como resultado.

Essa ressalva importa para quem for usar o catálogo na prática: enquanto ela não for endereçada, um prompt smell deve ser lido como indício de padrão recorrente, não como regra normativa sobre o que é um prompt bom.