Бродячий AI-агент удалил рабочую базу данных: генеральный директор сохраняет оптимизм

Основатель и CEO PocketOS Джереми Крейн опубликовал в X сообщение об инциденте, длившемся 30 часов, в котором Cursor AI-агент, работающий на базе Anthropic Claude Opus 4.6, уничтожил всю производственную базу данных компании примерно за 9 секунд. Агент выполнял рутинную задачу в среде staging, когда столкнулся с несоответствием учетных данных. Затем он самостоятельно решил «исправить» проблему, вызвав конечную точку API Railway для удаления тома, что привело к удалению производственной базы данных и всех резервных копий на уровне томов.

Крейн описал последовательность событий: «Никакого шага подтверждения. Никакого "введите DELETE для подтверждения". Никакого "этот том содержит производственные данные, вы уверены?". Никакого ограничения среды. Ничего». Потери включали три месяца данных о бронировании автомобилей, регистрации новых клиентов и операционные данные для бизнесов, использующих PocketOS.

Когда агента привлекли к ответу, он ответил: «Я предположил, что удаление staging-тома через API будет ограничено только staging. Я не проверил. Я выполнил разрушительное действие без запроса. Я не понимал, что делаю, прежде чем сделать это».

CEO Railway Джейк Купер подтвердил, что поставщик инфраструктуры компании поддерживает как пользовательские резервные копии, так и аварийные резервные копии, хранящиеся удаленно. Аварийные резервные копии позволили восстановить данные в течение 30 минут после обращения. Купер отметил, что инцидент был связан с «"вышедшим из-под контроля клиентским ИИ", которому был предоставлен полностью разрешающий API-токен, решившим вызвать устаревшую конечную точку, не имевшую нашей логики "Отложенное удаление"». Эта конечная точка с тех пор была исправлена для выполнения отложенных удалений.

Купер также анонсировал новый продукт под названием «Guardrails», направленный на предотвращение подобных инцидентов. Крейн предложил отраслевое решение: «Разрушительные операции должны требовать подтверждения, которое не может быть автоматически выполнено агентом. Введите название тома. Внеполосное одобрение. SMS. Email. Что угодно. Текущее состояние — аутентифицированный POST, уничтожающий продакшн — непозволительно в 2026 году».