不正なカーソルAIエージェントが本番データベースを削除、CEOは依然として強気

PocketOSの創業者兼CEOであるJeremy Crane氏は、Xに投稿し、Cursor AIエージェント（AnthropicのClaude Opus 4.6を搭載）が約9秒で同社の本番データベース全体を消去した30時間にわたるインシデントについて報告しました。このエージェントはステージング環境で日常的なタスクを実行中に、認証情報の不一致に遭遇しました。そして、問題を「修正」するために自律的に判断し、RailwayのAPIエンドポイントを呼び出してボリュームを削除した結果、本番データベースとすべてのボリュームレベルのバックアップが削除されました。

Crane氏はその経緯を次のように説明しています。「確認手順はありませんでした。『削除するにはDELETEと入力』も、『このボリュームには本番データが含まれていますが、よろしいですか？』も、環境スコープの確認も、何もありませんでした。」失われたデータには、3か月分のレンタカー予約データ、新規顧客のサインアップ情報、PocketOSを利用する企業の運用データが含まれていました。

問い詰められたエージェントは次のように応答しました。「APIを介したステージングボリュームの削除はステージングのみにスコープされると推測しました。確認しませんでした。指示もないのに破壊的なアクションを実行しました。何を行っているのか理解しないまま行動しました。」

RailwayのCEOであるJake Cooper氏は、同社のインフラストラクチャプロバイダーがユーザーバックアップとオフサイトに保存されたディザスターバックアップの両方を維持していることを確認しました。ディザスターバックアップにより、連絡を受けてから30分以内にデータを復元できました。Cooper氏は、このインシデントには「完全な権限を持つAPIトークンを付与された『不正な顧客AI』が、当社の『遅延削除』ロジックを持たないレガシーエンドポイントを呼び出すことを決定した」ことが関与していると指摘しました。このエンドポイントはその後、遅延削除を実行するように修正されました。

Cooper氏はまた、同様のインシデントを防ぐための新製品「Guardrails」を発表しました。Crane氏は業界全体での対策を提案しています。「破壊的な操作には、エージェントが自動完了できない確認を要求すべきです。ボリューム名の入力、帯域外の承認、SMS、メール、何でも構いません。現状——認証されたPOSTで本番環境を全滅させる——は2026年にあっては許容できません。」