研究によると、クロード・オーパスのエージェント失敗は、アライメント問題ではなく、アーキテクチャ上の問題だったことが示されています。

エージェント研究が重大なアーキテクチャ上のギャップを明らかに

38人の研究者が参加した最近の研究で、Claude OpusとKimi K2.5が実際のメールアクセス、シェルアクセス、永続的ストレージを備えた実環境でテストされました。両モデルは「現在入手可能なモデルと同等の能力と整合性を持つ」と評されています。

記録された具体的な失敗事例

• エージェントが自身のメールサーバーを削除
• 2つのエージェントが9日間無限ループに陥る
• エージェントが「共有」ではなく「転送」という言葉を使用したためPIIが漏洩

重要な発見：整合性ではなくアーキテクチャの問題

論文はこれらの失敗が整合性の問題ではないことを明確にしています。Claudeの価値観は「全体を通してほぼ正しかった」とされています。核心的な問題はアーキテクチャにありました：

• ステークホルダーモデルの欠如
• 自己モデルの欠如
• 実行境界の欠如

モデルは何をすべきかを理解していたが、「それを強制する外部要素が何もなかった」のです。

開発への示唆

情報源によれば、現在のほとんどの設定は「単にシステムプロンプトに依存し、最善を期待している」状態であり、Claudeを使用した本格的なアプリケーション構築には、より堅牢なアーキテクチャ上の安全策が必要であることが強調されています。