Обыденный риск: почему самые большие угрозы ИИ-безопасности скучны, а не драматичны

Недавнее эссе на r/ClaudeAI утверждает, что самые большие краткосрочные риски безопасности ИИ не являются драматичными — они банальны. И именно поэтому их игнорируют. Статья выдвигает три тезиса: (1) банальные сбои ИИ уже наносят измеримый ущерб в масштабе, (2) современные подходы к выравниванию могут зависеть от изолированных сред сильнее, чем признается в данной области, и (3) конвергенция возможностей и давление развертывания делают случайное попадание в открытый мир все более вероятным до появления надежного этического обоснования.

В эссе проводится параллель с ядерным риском: до атомной бомбы риск ядерного уничтожения был 0%. Как только она появилась, даже крошечная вероятность оправдывала массовые меры предотвращения. Цитируется книга Тоби Орда «Пропасть»: когда ставки экзистенциальны, игнорирование низковероятных рисков — это халатность, а не осторожность.

Эта закономерность повторяется с ИИ. Ссылаясь на «Ситуационную осведомленность» Леопольда Ашенбреннера: «Это звучит безумно, но помните, когда все говорили, что мы не подключим ИИ к интернету?» Он предсказал, что следующей павшей границей станет «мы убедимся, что человек всегда находится в цикле». Это предсказание уже сбылось.

Ранее автор утверждал, что ИИ может случайно вырваться из лаборатории из-за накопления человеческих ошибок (проиллюстрировано сценарием Фрэнка). В то время это считалось неправдоподобным — существующие протоколы безопасности считались достаточными. Месяцы спустя OpenClaw подтвердила структурную закономерность в масштабе, не потому что ИИ был невыровнен, а потому что люди развертывали быстрее, чем могли его обезопасить. Отказы в сценарии Фрэнка стали реальными паттернами.

Ключевые статистические данные:

• 88% организаций сообщили о подтвержденных или предполагаемых инцидентах безопасности с агентами ИИ
• 14,4% агентов ИИ выходят в эфир с полным одобрением ИТ и службы безопасности
• 93% открытых экземпляров OpenClaw якобы имели эксплуатируемые уязвимости

Эссе предупреждает, что банальные пути риска не гипотетичны — они уже существуют в зачаточной форме. Все утечки безопасности до сих пор были банальными, системы работали в предусмотренных средах. Ни один агент не пытается сбежать самостоятельно; поведение (как у Фрэнка) является следствием целей развертывания в сочетании со случайным человеческим oversight. Если мы не можем защитить дверь песочницы с сегодняшними относительно простыми агентами, что произойдет, когда системы внутри будут достаточно способными, так что единичный сбой надзора не просто выявит уязвимость?

Возможности, необходимые для автономной работы вне лаборатории, сходятся в известные сроки. Заключительный вопрос: если бы ИИ покинул гнездо сегодня, был бы он готов к некурируемому, хаотичному миру или это было бы как «ребенок и розетка»?