AIエージェントのガードレールは、積極的なメンテナンスなしでは時間とともに劣化します。

AIエージェントのガードレール（システムプロンプトで定義された安全ルール）は、ソフトウェアシステムで発生するセキュリティ脆弱性と同様に、段階的な変更を通じて時間とともに劣化する傾向があります。AIエージェントを構築する開発者からの観察によると、「Xをしない」や「Zの前に常にYを確認する」といった明確な境界線は、通常の開発プロセスを通じて徐々に効果を失っていきます。

ガードレールの劣化プロセス

情報源では、一般的なパターンが説明されています：初期のシステムプロンプトは約1週間はうまく機能しますが、その後、開発者が小さな合理的な変更を加え、それが蓄積していきます：

• 新しいエッジケースに対処するためのプロンプトの更新
• モデルバージョンの入れ替え
• 新しいツールの追加

6週間後には、元の安全ルールの半分が追加レイヤーの下に埋もれ、一部のルールは互いに矛盾し、プロンプトが長すぎるか指示があいまいになるため、モデルがルールを静かに無視する可能性があります。

メンテナンスアプローチ

情報源では、ガードレールのメンテナンスをセキュリティパッチングのように扱い、隔週のプロセスを推奨しています：

• システムプロンプト全体を最初から再読する（ざっと読むのではなく）
• 各境界ルールを、それらをトリガーすべき直接的なプロンプトでテストする
• 新しいツールや機能が既存のルールを迂回していないか確認する
• 非推奨機能を参照している無効なルールを削除する

重要な洞察は、ガードレールは積極的なメンテナンスを必要とし、「設定して忘れる」システムではないということです。情報源によると、過去1か月間にレビューがない場合、少なくとも1つのルールが壊れている可能性が高いです。