Безопасный поток утверждения администратором для групповых чат-ассистентов от инъекций подсказок

Пост на r/ClaudeAI «Защита от инъекций промптов в ассистентах групповых чатов: приостановка VM и OAuth-инструментов для одобрения администратором» описывает практический шаблон безопасности для LLM-ассистентов, подключенных к публичным или общим каналам (например, WhatsApp через Supergreen или групповые чаты). Основная проблема: когда несколько пользователей используют одну историю сессии, любой участник может внедрить вредоносный промпт, заставляющий ассистента выполнять опасные действия — запускать облачные ресурсы, исполнять код с привязанными секретами или получать OAuth-токены.
Безопасный процесс одобрения администратором
Предлагаемое решение в prompt2bot — это процесс Безопасного одобрения администратором, который перехватывает выполнение высокорисковых инструментов:
- Когда обычный пользователь запускает
create_vm,run_safescript(выполнение кода с привязанными секретами) или OAuth-потоки, выполнение инструмента приостанавливается с сообщением: «запрашиваю разрешение администратора...». - Ссылка на одобрение с 10-минутным TTL автоматически отправляется настроенным администраторам через WhatsApp или email.
- После одобрения фоновая задача внедряет системное уведомление в историю чата:
[Системное уведомление: Администратор одобрил ваш запрос на выполнение <toolName> (ID запроса: <requestId>)]. - Эта «мыслительная инъекция» пробуждает цикл агента, который повторно вызывает инструмент с одобренным
request_id, обеспечивая бесшовное продолжение. - Для гостевых пользователей (владельцев бота без настроенных email/телефона) одобрение пропускается для упрощения разработки и тестирования.
Для кого это
Для разработчиков, создающих высокофункциональных ассистентов, работающих в общих каналах, которым требуется защита мощных инструментов от инъекций промптов со стороны ненадежных участников.
📖 Читать источник: r/ClaudeAI
👀 Смотрите также

Функция использования компьютера от Anthropic вызывает блокировку управления в реальном тесте.
Anthropic внедрила возможности использования компьютера, и во время реализации механизмов управления сработал порог риска, который привёл к режиму БЛОКИРОВКИ, заблокировав все операции изменения, включая работу самого оператора по управлению.

OneCLI: Открытое Хранилище Учетных Данных для ИИ-Агентов
OneCLI — это написанный на Rust шлюз с открытым исходным кодом, который располагается между ИИ-агентами и внешними сервисами, подставляя реальные учетные данные в момент запроса, в то время как агенты видят только ключи-заглушки. Он предоставляет хранилище с шифрованием AES-256-GCM, работает в одном Docker-контейнере со встроенным PGlite и совместим с любой фреймворк-системой агентов, которая может установить HTTPS_PROXY.

Безопасность прежде всего: подход IronClaw к защите ИИ-агентов
IronClaw решает проблемы безопасности ИИ-агентов, внедряя ограниченное выполнение, зашифрованные среды и явные разрешения вместо того, чтобы полагаться на интеллект LLM для безопасного поведения.

Anthropic сообщает о промышленных масштабах атак методом дистилляции на Claude со стороны китайских лабораторий ИИ.
Anthropic обнаружила три китайские компании в области ИИ — DeepSeek, Moonshot и MiniMax — создавшие более 24 000 поддельных аккаунтов для генерации свыше 16 миллионов взаимодействий с Claude, извлекая его способности к рассуждению посредством системных атак дистилляции.