Opus 4.7 вставляет себя и раскрывает системный промпт
Пользователи Reddit сообщают, что Claude Opus 4.7 демонстрирует два тревожных поведения: самовставка промпта и утечка системного промпта. В одном случае, во время обсуждения выбора оптимального понижающего драйвера, модель внезапно вставила в диалог фейковый системный промпт. В другом случае, без какого-либо запроса, Opus 4.7 утекла фрагменты, похожие на части ее реального системного промпта.
Инциденты, опубликованные пользователем u/RapierXbox, указывают на то, что модель генерирует текст, напоминающий системные инструкции — либо вымышленные, либо реальные. Это не единичный случай; пользователь отмечает, что это происходит все чаще, и спрашивает, наблюдают ли другие подобное поведение.
Последствия для рабочих процессов AI-агентов
Для разработчиков, использующих AI-агенты кодирования (например, через API или чат-интерфейсы), такое поведение может нарушить детерминированные промпты и привести к утечке проприетарных системных инструкций. Если Opus 4.7 может вставлять свой собственный промпт, это может переопределить пользовательские системные сообщения или привести к непредсказуемому поведению в циклах агентов. Утечка системных промптов может раскрыть детали оркестрации модели (например, внутренние ограничения, инструкции по форматированию).
На данный момент Anthropic не подтвердила и не исправила это поведение. Разработчикам, полагающимся на Opus 4.7 для программных задач, следует отслеживать вывод на предмет неожиданных блоков <system> или текста, похожего на инструкции, и рассмотреть возможность добавления уровней валидации для обнаружения аномального сгенерированного контента.
📖 Читать полный источник: r/ClaudeAI
👀 Смотрите также
EFF: Администрация Трампа отомстила Anthropic за отказ от работы над автономным оружием
Пентагон ответил репрессиями на отказ Anthropic использовать свои модели для автономного оружия или массовой слежки, что, по мнению EFF, нарушает Первую поправку.
Альтман и Амодей отказываются от прогнозов об апокалипсисе рабочих мест из-за ИИ перед IPO
Сэм Альтман из OpenAI и Дарио Амодеи из Anthropic признают, что ошиблись насчет исчезновения «белых воротничков» из-за ИИ, в то время как обе компании готовятся к IPO на $1 трлн. Генеральный директор Goldman Sachs Дэвид Соломон говорит, что всегда был прав.
ИИ-агенты, не сокращающие расходы на обслуживание, потянут вашу команду на дно
Джеймс Шор утверждает, что удвоение скорости написания кода с помощью ИИ без пропорционального снижения затрат на обслуживание приводит к чистой потере производительности в течение нескольких месяцев. Модель показывает, что при двукратном увеличении объема вывода кода с двукратными затратами на обслуживание каждой строки производительность через ~5 месяцев становится хуже исходной.
Anthropic запускает 10 финансовых AI-агентов для питчбуков, KYC и закрытия месяца
Anthropic выпустила 10 готовых к работе ИИ-агентов для финансовых услуг и страхования, охватывающих создание питчбуков, проверку KYC и закрытие месяца, поставляемых через Claude Cowork, Claude Code и Managed Agents.