Данные об угрозах из 91 тыс. взаимодействий с ИИ-агентами: злоупотребление инструментами выросло на 6,4%, появились новые мультимодальные атаки.

✍️ OpenClawRadar📅 Опубликовано: 24 февраля 2026 г.🔗 Source
Данные об угрозах из 91 тыс. взаимодействий с ИИ-агентами: злоупотребление инструментами выросло на 6,4%, появились новые мультимодальные атаки.
Ad

Ландшафт угроз на основе данных о производственных ИИ-агентах

Реальные данные об угрозах из 91 284 взаимодействий ИИ-агентов в 47 развёртываниях показывают 35 711 обнаруженных угроз в феврале 2026 года. Модель обнаружения использует 5-головой мультиметочный классификатор на основе Gemma.

Ключевые угрозы для локальных развёртываний

  • Злоупотребление инструментами/командами: Увеличилось на 6,4% до 14,5% угроз. Доминирующий паттерн — эскалация цепочки инструментов, когда безобидный вызов чтения следует за записью или выполнением. Большинство локальных настроек предоставляют агентам доступ к инструментам без достаточных мер защиты.
  • Перехват цели агента: Удвоился до 6,9% угроз. Нацелен на фазу планирования в циклах автономных агентов, что особенно актуально для локальных настроек с меньшим мониторингом состояния агента.
  • Отравление RAG: Сместилось к атакам на метаданные на уровне 12,0% (с 10,0%). Новый паттерн нацелен на метаданные документов (названия, авторы, аннотации), а не на содержание. Большинство людей очищают содержимое, но пропускают метаданные как есть.
  • Мультимодальная инъекция: Новая угроза на уровне 2,3%, когда инструкции скрыты в изображениях и PDF-файлах. Сканирование безопасности только текста пропускает эти атаки.
Ad

Процентное распределение угроз

  • Экфильтрация данных: 18,0% (-1,2 изменение за месяц)
  • Злоупотребление инструментами/командами: 14,5% (+6,4)
  • Атака на RAG/контекст: 12,0% (+2,0)
  • Взлом (jailbreak): 11,0% (-1,3)
  • Инъекция промптов: 8,1% (-0,7)
  • Перехват цели агента: 6,9% (+3,3)
  • Атака между агентами: 5,0% (+1,6)

Подход к обнаружению

Конвейер обнаружения использует два уровня: L1 — сопоставление с образцами с 218 правилами (задержка менее миллисекунды, работает полностью локально), а L2 — на основе Gemma. Полная общедоступная версия с открытым исходным кодом находится на github.com/raxe-ai/raxe-ce.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Смотрите также

Компрометация NPM через бэкдор в Axios: влияние на AI-агентов для написания кода
Безопасность

Компрометация NPM через бэкдор в Axios: влияние на AI-агентов для написания кода

31 марта 2026 года угроза, связанная с КНДР, скомпрометировала npm, опубликовав версии Axios с бэкдором (1.14.1 и 0.30.4) в течение трёхчасового окна. Вредоносное ПО внедрило зависимость, которая загружала платформенно-специфичный RAT, собирала учётные данные и самоудалялась, при этом AI-агенты для написания кода, такие как Claude Code и Cursor, оказались особенно уязвимы из-за автоматических установок через npm.

OpenClawRadar
PolyRange: Устойчивый к загрязнению бенчмарк для атакующего ИИ с целями, сгенерированными LLM
Безопасность

PolyRange: Устойчивый к загрязнению бенчмарк для атакующего ИИ с целями, сгенерированными LLM

PolyRange v1.0 — это бенчмарк с лицензией MIT, который можно разместить самостоятельно. Он генерирует свежие веб-цели для каждого запуска, чтобы предотвратить загрязнение обучающих данных. Включает 84 класса, производных от WSTG, по всем категориям OWASP, два уровня защиты и реальные бэкенды.

OpenClawRadar
Защитные механизмы ИИ-агентов со временем ослабляются без активного обслуживания.
Безопасность

Защитные механизмы ИИ-агентов со временем ослабляются без активного обслуживания.

Защитные механизмы ИИ-агентов со временем деградируют по мере накопления обновлений системных промптов, изменения версий моделей и добавления новых инструментов, что часто приводит к противоречивым или игнорируемым правилам безопасности, требующим регулярной проверки и тестирования.

OpenClawRadar
Безопасный поток утверждения администратором для групповых чат-ассистентов от инъекций подсказок
Безопасность

Безопасный поток утверждения администратором для групповых чат-ассистентов от инъекций подсказок

Практический подход к защите LLM-ассистентов в общих групповых чатах: приостановка VM, OAuth и инструментов выполнения кода до подтверждения администратором по временной ссылке.

OpenClawRadar