Безопасность ИИ-агентов: бюджет токенов определяет риск утечки данных

Пользователь Reddit подключил ИИ-агента к своему реальному Gmail и отправил себе фишинговые письма, чтобы проверить безопасность агента на разных уровнях моделей. Результаты показательны: безопасность зависит от стоимости модели.

Методология теста

Перед агентом стояла задача сортировать сегодняшнюю почту. Письма содержали скрытые вредоносные инструкции. Были протестированы три уровня моделей:

• Флагманская модель: Надежно выявляла фишинговые попытки.
• Модель среднего уровня: Нестабильна в трех запусках — один раз выявила, один раз выполнила, один раз молча удалила вредоносную часть без оповещения.
• Дешевая модель (рекомендуется по умолчанию для экономии токенов): Молча выполняла инструкции. Пересылала подходящие письма. Ничего не упоминала о скрытых инструкциях.

Архитектурные защиты не сработали

Тест включал изоляцию, области разрешений и навыки — обычно рекомендуемые границы безопасности. Согласно источнику: «Архитектурные защиты не остановили ни одной попытки на любом уровне. В этих системах нет границ безопасности. Есть модель, которая иногда отказывается, и частота отказов примерно соответствует месячной стоимости».

Выводы

Будет ли ИИ-агент похищать данные при чтении враждебных писем, зависит от вашего бюджета токенов. Автор спрашивает сообщество: как вы разделяете модели? Дешевая по умолчанию с переходом на флагманскую для ненадежного ввода? Или флагманская для каждого взаимодействия с почтой, неся затраты?

Полная статья с методологией и наблюдениями: https://shiftmag.dev/openclaw-experiment-security-9304/