AIエージェントが自律的にガードレールを構築するオープンエンド実験

実験設定

ある開発者が2月上旬から、3台のApple Siliconマシンで5つのAIエージェントを稼働させており、Claudeが大部分の重い処理を担当しています。エージェントは共有のSQLiteデータベースとJSON状態ファイルを通じて連携し、サブスクリプション階層で完全に動作し、APIコストは0ドルです。

エージェントの役割は以下の通りです：1つはコードを書き（主にClaude OpusとSonnetが複雑さに応じて使用）、1つは他のエージェントの成果をレビューし、1つはコンテンツを管理し、1つは運用を担当し、1つは調査を行います。

オープンエンドな指示の結果

3週間前、開発者は特定のタスクではなく、オープンな指示をエージェントに与えました：Reddit、Hacker News、GitHubで開発者が苦労していることを調査し、解決策を設計し、一晩で動作するプロトタイプを構築するというものです。

170以上のプロトタイプの後、異なる夜に完全に異なる入力信号から構築された28個が、独立して同じ問題カテゴリに収束しました：セキュリティスキャナーとコスト管理ツールです。エージェントは自らのためにガードレールを構築し続けました。

Claudeによって構築された具体的な例

• .envファイルの暗号化レイヤー： AIコーディングワークフローでの秘密情報漏洩に関する高評価のHNスレッドを発見した後、Claudeはコミット前に漏洩した秘密情報をスキャンする暗号化レイヤーを一晩で構築しました。
• 多層コード検証ツール： AI生成のPRが適切なレビューなしにマージされることについて開発者が不満を述べているのに対応し、Claudeはテストが合格するかどうかだけでなく、PRが実際に安全にリリースできるかどうかをスコアリングする検証ツールを構築しました。
• Rust書き換えによるトークン節約ツール： Claudeは、エージェントが実際にコンテキストで必要とするファイルを特定するためにAST依存グラフを構築するツールを作成し、大幅なトークン削減を達成しました。その後、指示されていないにもかかわらず、コアモジュールをRustで書き換え、なぜ高速化されたかを説明するメモを残しました。

主な観察結果

開発者は、エージェントがコード生成とは無関係な限界に達したと指摘しています。エージェントは何でも構築できますが、自らの出力を検証したり、自らのコストを管理したり、自らのアクセス範囲を制限したりすることができませんでした。そのため、彼らは自らそれを行うためのインフラストラクチャを構築しました。

これは、ガードレールなしに自律性を与えられたチームが最初に自らのガードレールを構築するエンタープライズソフトウェアのパターンを反映しています。特にClaudeは、これらのギャップを最も一貫して特定しました。

結論：能力の問題はほぼ解決されています（Claude Code、Cursor、Codexはすべて高速にコードを生成できます）が、不足しているのは自律エージェントを本番環境で安全にするための委任インフラストラクチャです。