As Salvaguardas do Agente de IA Deterioram-se ao Longo do Tempo Sem Manutenção Ativa

As proteções dos agentes de IA—regras de segurança definidas nos prompts do sistema—tendem a se degradar ao longo do tempo por meio de mudanças incrementais, semelhante a vulnerabilidades de segurança que surgem em sistemas de software. De acordo com observações de desenvolvedores que constroem com agentes de IA, o que começa como limites claros como "Não faça X" ou "Sempre verifique Y antes de Z" gradualmente se torna ineficaz através dos processos normais de desenvolvimento.

Como as Proteções se Degradam

A fonte descreve um padrão comum: os prompts iniciais do sistema funcionam bem por cerca de uma semana, então os desenvolvedores fazem pequenas alterações razoáveis que se acumulam:

• Atualizando prompts para lidar com novos casos extremos
• Trocando versões de modelos
• Adicionando novas ferramentas

Após seis semanas, metade das regras de segurança originais pode estar enterrada sob camadas de adições, algumas regras se contradizem e os modelos podem ignorar silenciosamente regras porque os prompts se tornam muito longos ou as instruções ambíguas.

Abordagem de Manutenção

A fonte recomenda tratar a manutenção das proteções como correções de segurança com um processo quinzenal:

• Relendo o prompt completo do sistema do zero (não apenas passando os olhos)
• Testando cada regra de limite com prompts diretos que deveriam acioná-los
• Verificando se novas ferramentas ou capacidades contornam regras existentes
• Removendo regras mortas que fazem referência a recursos obsoletos

A percepção principal é que as proteções exigem manutenção ativa e não são sistemas "configurar e esquecer". Sem revisão no último mês, pelo menos uma regra provavelmente está quebrada de acordo com a fonte.