Нормализация отклонений в ИИ: почему ваша агентная система потерпит неудачу

Индустрия ИИ рискует повторить культурные ошибки, стоящие за катастрофой космического корабля Challenger, нормализуя предупреждающие сигналы о ненадёжности LLM. Термин социолога Дайан Воган Нормализация отклонений описывает, как отклонение от правильного поведения становится культурно принятым. В ИИ это постепенная чрезмерная зависимость от выходных данных LLM в агентных системах, несмотря на то, что модели по своей сути вероятностны, недетерминированы и подвержены атакам.

Основная проблема: ненадёжные выходные данные LLM

LLM являются ненадёжными акторами. Средства контроля безопасности (проверки доступа, кодирование, очистка) должны применяться на последующих этапах. Тем не менее, вендоры относятся к выходным данным моделей как к надёжным. Отсутствие успешной атаки ошибочно принимается за надёжную безопасность. Реальные инциденты уже показывают агентов, форматирующих жёсткие диски, создающих случайные задачи на GitHub или стирающих производственные базы данных.

Два вектора воздействия

• Безвредные сбои: галлюцинации, потеря контекста, хрупкость, вызывающие инциденты безопасности.
• Атакующая эксплуатация: непрямая инъекция промптов и триггеры бэкдоров. Исследование Anthropic показывает, что всего лишь небольшой набор документов может вставить бэкдор в модель.

Примеры дрейфа

Через три года после запуска ChatGPT вендоры продвигают агентный ИИ, одновременно предупреждая пользователей, что их системы могут быть скомпрометированы. Agentic Operating System от Microsoft приводится как пример, где нормализация уже видна.

Почему это важно

Под конкурентным давлением скорости и автоматизации сокращения становятся новой нормой. Системы работают, поэтому команды перестают задавать вопросы. Тот же культурный дрейф, который привёл к катастрофе Challenger, теперь позволяет эксплуатировать AI-агентов. Вендоры по умолчанию принимают небезопасные решения для своей пользовательской базы.