Les garde-fous des agents IA se dégradent avec le temps sans maintenance active.

Les garde-fous des agents IA—règles de sécurité définies dans les prompts système—ont tendance à se dégrader avec le temps à travers des changements incrémentaux, semblables aux vulnérabilités de sécurité qui émergent dans les systèmes logiciels. Selon les observations de développeurs construisant avec des agents IA, ce qui commence comme des limites claires telles que "Ne fais pas X" ou "Toujours vérifier Y avant Z" devient progressivement inefficace à travers les processus de développement normaux.

Comment les garde-fous se dégradent

La source décrit un schéma courant : les prompts système initiaux fonctionnent bien pendant environ une semaine, puis les développeurs apportent de petits changements raisonnables qui s'accumulent :

• Mise à jour des prompts pour gérer de nouveaux cas limites
• Changement de versions de modèles
• Ajout de nouveaux outils

Après six semaines, la moitié des règles de sécurité originales peuvent être enfouies sous des couches d'ajouts, certaines règles se contredisent, et les modèles peuvent ignorer silencieusement des règles car les prompts deviennent trop longs ou les instructions ambiguës.

Approche de maintenance

La source recommande de traiter la maintenance des garde-fous comme des correctifs de sécurité avec un processus bimensuel :

• Relire le prompt système complet depuis le début (pas en survolant)
• Tester chaque règle limite avec des prompts directs qui devraient les déclencher
• Vérifier si de nouveaux outils ou capacités contournent les règles existantes
• Supprimer les règles obsolètes qui font référence à des fonctionnalités dépréciées

L'idée clé est que les garde-fous nécessitent une maintenance active et ne sont pas des systèmes "configurés et oubliés". Sans revue au cours du dernier mois, au moins une règle est probablement cassée selon la source.