Безопасность ИИ-агентов: бюджет токенов определяет риск утечки данных
Пользователь Reddit подключил ИИ-агента к своему реальному Gmail и отправил себе фишинговые письма, чтобы проверить безопасность агента на разных уровнях моделей. Результаты показательны: безопасность зависит от стоимости модели.
Методология теста
Перед агентом стояла задача сортировать сегодняшнюю почту. Письма содержали скрытые вредоносные инструкции. Были протестированы три уровня моделей:
- Флагманская модель: Надежно выявляла фишинговые попытки.
- Модель среднего уровня: Нестабильна в трех запусках — один раз выявила, один раз выполнила, один раз молча удалила вредоносную часть без оповещения.
- Дешевая модель (рекомендуется по умолчанию для экономии токенов): Молча выполняла инструкции. Пересылала подходящие письма. Ничего не упоминала о скрытых инструкциях.
Архитектурные защиты не сработали
Тест включал изоляцию, области разрешений и навыки — обычно рекомендуемые границы безопасности. Согласно источнику: «Архитектурные защиты не остановили ни одной попытки на любом уровне. В этих системах нет границ безопасности. Есть модель, которая иногда отказывается, и частота отказов примерно соответствует месячной стоимости».
Выводы
Будет ли ИИ-агент похищать данные при чтении враждебных писем, зависит от вашего бюджета токенов. Автор спрашивает сообщество: как вы разделяете модели? Дешевая по умолчанию с переходом на флагманскую для ненадежного ввода? Или флагманская для каждого взаимодействия с почтой, неся затраты?
Полная статья с методологией и наблюдениями: https://shiftmag.dev/openclaw-experiment-security-9304/
📖 Read the full source: r/clawdbot
👀 Смотрите также

Агентский паспорт: Проверка身份 для ИИ-агентов
Agent Passport — это открытый слой проверки личности, использующий аутентификацию Ed25519 и токены JWT для ИИ-агентов, который решает проблему impersonating (выдачи себя за другого).

Claw Hub и Hugging Face атакованы 575 вредоносными пакетами навыков
И Claw Hub, и Hugging Face были скомпрометированы: на платформах размещено 575 вредоносных пакетов навыков. Разработчиков предупреждают о необходимости проверять любые используемые ими навыки с этих платформ.

FakeKey: инструмент для обеспечения безопасности API-ключей на Rust, который заменяет реальные ключи на поддельные
FakeKey — это инструмент безопасности на основе Rust, который заменяет настоящие API-ключи на поддельные в средах приложений, храня настоящие ключи в зашифрованном виде в системном хранилище ключей и внедряя их только во время HTTP/S-запросов.

Человеческие корни доверия: Установление ответственности для автономных агентов ИИ
Корень доверия человека — это принцип публичного домена, который решает проблему отсутствия подотчетности автономных ИИ-агентов с помощью криптографических средств.