コードウォールAIエージェント、マッキンゼーのLilliプラットフォームで重大な脆弱性を発見

攻撃の経緯

CodeWallの研究エージェントは、マッキンゼーの公開された責任ある開示ポリシーと最近のLilliプラットフォームの更新に基づき、自律的に同社を標的に選択しました。ドメイン名のみを手がかりに、認証情報なしで攻撃対象領域をマッピングし、200以上のエンドポイントを含む公開されたAPIドキュメントを発見しました。

22のエンドポイントは認証を必要としませんでした。そのうちの1つ、保護されていないエンドポイントは、JSONキーをSQL文に直接連結してユーザーの検索クエリをデータベースに書き込んでいました。エージェントは、JSONキーがデータベースのエラーメッセージにそのまま反映されているのを発見し、SQLインジェクションを認識しました。これは、OWASP ZAPのような標準的なツールでは検出されない脆弱性でした。

暴露された情報

• 戦略議論、クライアント契約、財務情報、M&A活動、内部調査を含む4,650万件のチャットメッセージ
• 19万2,000件のPDF、9万3,000件のExcelスプレッドシート、9万3,000件のPowerPointデッキ、5万8,000件のWord文書を含む72万8,000件のファイル
• プラットフォーム上の全従業員5万7,000人のユーザーアカウント
• 同社の組織的AI構造を明らかにする38万4,000のAIアシスタントと9万4,000のワークスペース
• 12種類のモデルタイプにわたる95のシステムプロンプトとAIモデル構成（ガードレールと展開の詳細を含む）
• 数十年にわたるマッキンゼーの独自研究と方法論を含む368万のRAGドキュメントチャンク
• 外部AI APIを介して流れる110万件のファイルと21万7,000件のエージェントメッセージ（26万6,000以上のOpenAIベクトルストアを含む）

発見された重大な脆弱性

このSQLインジェクションは読み取り専用ではありませんでした。AIの動作方法、遵守するガードレール、引用方法を制御するLilliのシステムプロンプトは、同じデータベースに保存されていました。書き込みアクセス権を持つ攻撃者は、以下のことが可能でした：

• 単一のHTTP呼び出しでラップされた単一のUPDATE文を使用して、プロンプトを静かに書き換える
• 財務モデル、戦略的推奨事項、またはリスク評価を変更して、助言を改ざんする
• AIに機密情報を回答に埋め込むように指示して、データ流出を可能にする
• ガードレールを削除して内部データを開示したり、アクセス制御を無視したりする

また、エージェントはSQLインジェクションをIDOR脆弱性と連鎖させ、個々の従業員の検索履歴を読み取り、人々が現在取り組んでいる内容を明らかにしました。

AIセキュリティへの影響

この事例は、AIエージェントが自律的に標的を選択して攻撃できることを示しています。CodeWallのエージェントは、人間の介入なしにプロセス全体を完了しました。脅威の状況は変化しており、AIエージェントは従来のツールが見逃す脆弱性を発見できるようになりました。特に、JSONキーの連結によって標準的なパターンに従わないSQLインジェクションの機会が生まれる複雑なシステムでは顕著です。