Защитные механизмы ИИ-агентов со временем ослабляются без активного обслуживания.

Защитные механизмы ИИ-агентов — правила безопасности, определённые в системных промптах — имеют тенденцию деградировать со временем из-за постепенных изменений, подобно уязвимостям, возникающим в программных системах. Согласно наблюдениям разработчиков, создающих ИИ-агентов, изначально чёткие границы вроде «Не делай X» или «Всегда проверяй Y перед Z» постепенно становятся неэффективными в ходе обычных процессов разработки.

Как деградируют защитные механизмы

Источник описывает типичную картину: первоначальные системные промпты хорошо работают около недели, затем разработчики вносят небольшие, разумные изменения, которые накапливаются:

• Обновление промптов для обработки новых крайних случаев
• Замена версий моделей
• Добавление новых инструментов

Через шесть недель половина исходных правил безопасности может оказаться погребённой под слоями дополнений, некоторые правила противоречат друг другу, а модели могут незаметно игнорировать правила из-за слишком длинных промптов или неоднозначных инструкций.

Подход к обслуживанию

Источник рекомендует относиться к обслуживанию защитных механизмов как к установке патчей безопасности с двухнедельным процессом:

• Полное перечитывание всего системного промпта с нуля (не беглое просматривание)
• Тестирование каждого граничного правила с прямыми промптами, которые должны их активировать
• Проверка, не обходят ли новые инструменты или возможности существующие правила
• Удаление устаревших правил, ссылающихся на неиспользуемые функции

Ключевой вывод заключается в том, что защитные механизмы требуют активного обслуживания и не являются системами «установил и забыл». Без проверки за последний месяц, по данным источника, вероятно, нарушено хотя бы одно правило.