セキュリティ監査実験が示す：AIエージェントの性能は知識アクセスに依存

あるRedditユーザーが、知識へのアクセスが結果にどのような影響を与えるかをテストするため、同じコードベースでAIセキュリティ監査アプローチを比較する実験を行いました。実験にはBoxyHQのオープンソースNext.js SaaSスターターキットがテスト対象として使用されました。

比較された3つの監査方法

開発者は3つの独立したセキュリティ監査を実施しました：

• Claude Codeの組み込みセキュリティレビュー： 1件の重大、6件の高、13件の中程度の深刻度の問題を発見
• 追加コンテキストなしのAIエージェント： 1件の重大、5件の高、14件の中程度の深刻度の問題を発見
• 10冊の専門セキュリティ書籍を与えられたAIエージェント： 8件の重大、9件の高、10件の中程度の深刻度の問題を発見

主な発見

書籍を与えられたエージェントは、他の方法では完全に見逃されていた脆弱性を特定しました。これには以下が含まれます：

• 平文で保存されたパスワードリセットトークン
• トークン検証におけるTOCTOU（チェック時点と使用時点の間の競合状態）の競合状態
• res.status(404)を呼び出すがリターンせず、実行を継続させてしまう機能フラグ

開発者は、これらは不明瞭なエッジケースではなく、実際のセキュリティ侵害で発生するタイプの問題であると指摘しました。実験では、すべてのテストで同じコードベースと同じAIモデルが使用され、唯一の変数はエージェントがアクセスできる知識のみでした。

AI支援開発への示唆

この実験は、AIエージェントの限界は知性ではなく、必要な時にアクセスできる知識にあることを示唆しています。開発者は、セキュリティ知識はコード内ではなく「コードの上に存在する」と結論付け、AIツールにドメイン固有の参照資料を提供することの重要性を強調しました。これは、単に基礎的なトレーニングに依存するのではなく、専門知識源でAIエージェントを強化するアプローチです。

専門知識源でAIエージェントを強化するこのアプローチは、特にAIコーディングアシスタントをセキュリティレビューに使用する開発者にとって関連性が高い可能性があります。現在のセキュリティ参照資料とベストプラクティスへのアクセスは、発見の品質に大きく影響します。