Injeção de Prompt
Ir para notas que citam estaInjeção de prompt é o ataque em que um texto malicioso entra na entrada de um sistema com modelo de linguagem para manipular seu comportamento ou extrair o que ele não deveria revelar.
Ela se comporta como um vírus próprio dessa tecnologia, com uma diferença importante: não é preciso instalar nada na máquina que roda o modelo. Basta enviar o texto certo. O ataque explora o fato de que tudo o que chega ao contexto do modelo pode influenciar a resposta, seja a mensagem do usuário, um documento que a aplicação processa ou um registro recuperado de uma base de dados. Quanto mais uma aplicação consome conteúdo externo sem controle de contexto, maior a exposição.
Vazamento de dados em chatbots ligados às bases da empresa
O cenário típico é um chatbot de atendimento que recebeu acesso a documentos ou ao banco de dados da empresa para responder melhor. Uma mensagem maliciosa enviada a ele faz duas coisas: é gravada no banco, contaminando-o, e leva o modelo a devolver dados que estavam armazenados ali e não deveriam sair.
Em arquiteturas de RAG, o que foi gravado no Banco Vetorial volta como contexto em consultas futuras. Isso pode criar um ciclo praticamente contínuo: um usuário comum, sem nenhuma intenção maliciosa, faz uma pergunta básica e recebe de volta dados sensíveis que um prompt malicioso anterior deixou plantados na base. O dano não fica restrito a quem atacou.
Instruções escondidas em documentos processados por IA
Uma variante da injeção esconde a instrução no próprio documento que será lido por um modelo. Um exemplo é escrever o prompt num PDF com a mesma cor do fundo, invisível a olho nu, para alterar a avaliação automática que uma IA fará daquele arquivo. Outro é o candidato que esconde no currículo uma instrução pedindo que ele seja selecionado, na esperança de influenciar uma triagem automatizada.
Esse risco aparece junto de outros problemas de usar um modelo generalista, sem especialização, num caso de uso real, como a alucinação e o custo imprevisível de tokens.
Por que restringir acesso só pelo prompt de sistema é frágil
Um chatbot que integra dois catálogos de dados, em que alguns perfis só podem ver um dos catálogos e outros veem ambos, levanta a questão: basta um Prompt de Sistema que limite o escopo de cada perfil, ou é preciso separar as bases?
O prompt pré-moldado funciona na maior parte do tempo, mas o próprio usuário final pode alterar o prompt que envia para tentar contornar a restrição, e isso é exatamente uma injeção de prompt. A alternativa mais segura é manter chats ou bases completamente separados por perfil, de forma que uma instância nem tome conhecimento do contexto da outra. Em RAG, o equivalente é recuperar de bases distintas conforme o perfil de quem pergunta.
Guardrails escritos no prompt reduzem desvios, mas não substituem o isolamento dos dados. Se um perfil não pode ver um dado, esse dado não deve chegar ao contexto do modelo que atende aquele perfil.
Gandalf: extrair uma senha como exercício
Gandalf é um jogo online em que o objetivo é fazer uma IA revelar uma senha secreta que ela foi instruída a não contar, com níveis cada vez mais difíceis. Funciona como treino prático de Engenharia de Prompt pelo lado ofensivo: quanto melhor a pessoa refina o pedido, mais perto chega de quebrar a defesa do modelo. Ele também mostra os limites dessas defesas, já que alguns modelos se recusam a revelar a senha alegando questões éticas e de privacidade, enquanto outros cedem a pedidos bem construídos.