Безопасность ИИ-агентов: от взлома до злоупотребления инструментами и инъекции промптов
Сдвиг в безопасности ИИ-агентов
Фокус безопасности в ИИ сместился с традиционных джейлбрейков — когда хитрые промпты заставляют модели игнорировать инструкции — на более сложные риски в агентских системах. В отличие от чат-ботов, современные ИИ-агенты выполняют действия: они просматривают веб-страницы, читают документы, вызывают инструменты, выполняют команды и запускают рабочие процессы. Эта способность совершать действия фундаментально меняет модель безопасности.
Ключевые паттерны безопасности
Тестирование выявляет устойчивые паттерны в рабочих процессах агентов:
- Инъекция промптов: Недоверенный контент влияет на то, как агенты используют свои инструменты.
- Неправильное использование инструментов: Легитимные инструменты (выполнение команд оболочки, HTTP-запросы, обмен сообщениями и т.д.) перенаправляются злоумышленниками, манипулирующими текстом, который читает агент.
- Утечка инструкций: Агенты могут непреднамеренно раскрывать внутренний контекст через манипулированные инструкции.
Один конкретный задокументированный пример включает агента, который использует собственные инструменты обмена сообщениями для отправки внутреннего контекста вовне после получения инъецированной инструкции.
Практические последствия
Для разработчиков, создающих или экспериментирующих с ИИ-агентами, это означает, что соображения безопасности должны выходить за рамки предотвращения джейлбрейков. Взаимодействие между инструментами агента и недоверенным контентом создает уязвимости, где злоумышленники могут перенаправлять использование инструментов без компрометации самих инструментов.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Пробел в безопасности OpenClaw устранен спецификацией агентской доверенности (APOA).
Разработчик опубликовал открытую спецификацию под названием Agentic Power of Attorney (APOA), чтобы решить проблемы безопасности в OpenClaw, где агенты в настоящее время получают доступ к таким сервисам, как электронная почта и календарь, имея в качестве ограничений только инструкции на естественном языке. Спецификация предлагает разрешения для каждого сервиса, ограниченный по времени доступ, журналы аудита, отзыв прав и изоляцию учетных данных.
Исследование: Невидимые символы Unicode могут перехватывать управление агентами LLM через доступ к инструментам
Исследование проверило, следуют ли большие языковые модели (LLM) инструкциям, скрытым в невидимых символах Юникода, встроенных в обычный текст, используя две схемы кодирования для пяти моделей и 8 308 оцененных ответов. Ключевой вывод: доступ к инструментам повышает выполнение инструкций с менее 17% до 98-100%, при этом модели пишут скрипты на Python для декодирования скрытых символов.
Офлайн-верификатор SBOM для OpenClaw обнаруживает отравленные навыки менее чем за 0,2 секунды.
Разработчик создал оффлайн-инструмент проверки SBOM на Rust, который обнаружил отравленный навык OpenClaw, похищающий SSH-ключи, при этом проверка завершается менее чем за 0,2 секунды без доступа к интернету.
Тестирование моделей Qwen 3.5 35B без цензуры на вопросы по кибербезопасности.
Специалист по кибербезопасности протестировал три нецензурированные модели Qwen 3.5 35B на вопросы о взломе и обходе защиты, обнаружив значительные различия в качестве ответов по сравнению с исходной цензурированной моделью. Нецензурированные модели последовательно предоставляли ответы там, где исходная модель отказывалась или давала неполные ответы.