Guardrails
Ir para notas que citam estaGuardrails são os mecanismos que restringem o escopo de atuação de um chat ou agente de IA, impedindo respostas fora do domínio, manipulação para outros fins e custo desnecessário.
Um assistente construído sobre um modelo generalista responde, por padrão, a qualquer coisa. Quando ele é especializado num domínio, essa abertura vira risco: alguém pode usá-lo para fins que nada têm a ver com o propósito dele, e cada resposta fora do escopo consome tokens pagos por quem mantém o serviço. Guardrails fecham essa porta e funcionam tanto como controle de conteúdo quanto como controle de custo.
Riscos de um chatbot sem restrição de escopo
Um caso de mercado envolve o chatbot de atendimento de uma montadora de veículos: usuários perceberam que, com o prompt certo, podiam usar o chat como acesso gratuito a um modelo de linguagem recente, em vez de pagar a própria licença, e os custos da empresa explodiram. Faltava uma restrição simples que recusasse pedidos alheios ao atendimento. Esse tipo de abertura se relaciona com a injeção de prompt, em que instruções inseridas no texto tentam desviar o comportamento do modelo.
A mesma falha aparece por dentro. Num assistente de geração de código ainda sem controle de fluxo, uma simples saudação consumiu cerca de 300 mil tokens, porque nada impedia que uma mensagem irrelevante percorresse o processamento inteiro.
Como implementar a restrição de escopo
A camada mais direta é o prompt de sistema: ele define o domínio do assistente e instrui a recusar, ou avisar, quando o pedido passa dos limites. Num chat especializado em gerar código numa linguagem proprietária, uma saudação recebe como resposta a apresentação do assistente e do que ele faz; perguntas sobre o que um trecho de código faz, como converter uma data em texto ou como escrever uma função são atendidas; qualquer outra coisa recebe o aviso de que o uso não é aquele.
A segunda camada é arquitetural. Um agente orquestrador que entende a intenção antes de acionar agentes especializados evita que um pedido irrelevante percorra fluxos caros. Etapas de validação, em que um agente confere o que outro produziu contra regras definidas, como padrões de nomenclatura, completam o controle sobre a saída.
Guardrails aplicados sem considerar o contexto e o conteúdo avaliado podem levar ao esquecimento catastrófico, a perda de capacidades do modelo. E os filtros dos fornecedores moldam o viés padrão das respostas quando o prompt traz pouco contexto.