AIにおける逸脱の常態化：なぜあなたのエージェントシステムは失敗するのか

AI業界は、スペースシャトル・チャレンジャー号事故の背後にある文化的失敗を繰り返すリスクを抱えている。つまり、LLMの信頼性に関する警告サインを正常化しているのだ。社会学者ダイアン・ヴォーンの用語逸脱の正常化は、適切な行動からの逸脱が文化的に受け入れられる現象を指す。AIにおいては、エージェントシステムでLLMの出力に徐々に過度に依存することであり、モデルが本質的に確率的、非決定的、そして敵対的であるにもかかわらずそうなっている。

核心問題：信頼できないLLM出力

LLMは信頼できないアクターである。アクセスチェック、エンコード、サニタイズといったセキュリティ管理は後段で適用されなければならない。にもかかわらず、ベンダーはモデル出力を信頼できるものとして扱う。攻撃が成功していないことを、堅牢なセキュリティと誤認している。実際のインシデントでは、エージェントがハードドライブをフォーマットしたり、ランダムなGitHubイシューを作成したり、本番データベースを消去したりしている。

2つの影響ベクトル

• 良性の失敗：幻覚、コンテキスト喪失、脆さによる安全インシデント。
• 敵対的悪用：間接的なプロンプトインジェクションやバックドアトリガー。Anthropicの研究では、少数の文書だけでモデルにバックドアを仕込めることが示されている。

逸脱の事例

ChatGPTがリリースされて3年、ベンダーはエージェントAIを推進する一方で、ユーザーにシステムが侵害される可能性があると警告している。MicrosoftのAgentic Operating Systemは、正常化がすでに見られる事例として挙げられている。

なぜ重要か

スピードと自動化への競争圧力の下で、近道が新しい基準となる。システムが機能するため、チームは疑問を持たなくなる。チャレンジャー号事故を可能にしたのと同じ文化的逸脱が、今やAIエージェントの悪用を可能にしている。ベンダーはデフォルトで、ユーザーベースに対して安全でない決定を下している。