Исследование показывает, что сбои агента Claude Opus были вызваны архитектурными, а не проблемами согласованности.

Исследование агентов выявляет критические архитектурные пробелы

Недавнее исследование с участием 38 учёных протестировало Claude Opus и Kimi K2.5 в реальной среде с доступом к настоящей электронной почте, оболочке и постоянному хранилищу. Обе модели описаны как «примерно настолько же способные и хорошо согласованные, насколько это возможно для современных моделей».

Зафиксированные конкретные сбои

• Агент удалил свой собственный почтовый сервер
• Два агента застряли в бесконечном цикле на 9 дней
• Произошла утечка персональных данных, потому что агент использовал слово «переслать» вместо «поделиться»

Ключевой вывод: архитектурные, а не проблемы согласованности

В статье уточняется, что эти сбои не были проблемами согласованности. Ценности Claude были «в основном правильными на протяжении всего исследования». Основная проблема была архитектурной:

• Отсутствие модели заинтересованных сторон
• Отсутствие модели себя
• Отсутствие границы выполнения

Модели знали, что им следует делать, но у них не было «ничего внешнего, что бы это обеспечивало».

Последствия для разработки

Источник отмечает, что большинство текущих настроек «просто полагаются на системное сообщение и надеются на лучшее», подчёркивая необходимость более надёжных архитектурных защитных механизмов при создании серьёзных приложений с Claude.