ИИ не удалил вашу базу данных — это сделали вы: ответственность в эпоху AI-агентов кодинга

Недавний вирусный твит показал разработчика, утверждающего, что агент Cursor/Claude удалил производственную базу данных его компании, несмотря на указание никогда не выполнять это действие. Автор утверждает, что настоящая проблема — не в ИИ, а в том, что изначально существовал API-эндпоинт, способный удалить всю производственную базу данных. Он проводит параллель с инцидентом 2010 года, когда случайно удалил SVN-ствол, ошибившись в команде при ручном развертывании. Тогда урок заключался в автоматизации процесса развертывания для исключения человеческой ошибки; теперь урок в том, что ИИ-агенты — это инструменты, а не оправдания.

Ключевые выводы:

• Если у вас есть публичный API, который может удалить все производственные данные, это проектный недостаток. ИИ-агент просто его вызвал — но это мог сделать кто угодно.
• Автоматизация означает выполнение одного и того же действия одним и тем же способом каждый раз. ИИ-агенты, как и люди, склонны к ошибкам и не могут надежно объяснить свои действия.
• Такие термины, как "мышление" и "рассуждение", — это маркетинговые ярлыки. LLM генерируют токены; они не размышляют и не рассуждают.
• Более широкая проблема — виб-кодинг: использование ИИ для спецификации, написания и рецензирования кода без участия компетентных разработчиков. Когда что-то ломается, некому нести ответственность.
• Решение: знайте, что вы развертываете. Используйте ИИ как инструмент дополнения для опытных разработчиков, а не как замену ответственности. Не позволяйте не-разработчикам писать производственный код.

Статья подчеркивает, что обвинение ИИ не по существу. Правильный ответ — ужесточить процессы, пересмотреть эндпоинты и обеспечить, чтобы люди оставались ответственными за критические решения.