Функция использования компьютера от Anthropic вызывает блокировку управления в реальном тесте.
Что произошло
Anthropic выпустила функциональность использования компьютера. Разработчик работал в управляемой сессии Claude Code, добавляя механизмы контроля для этих новых инструментов, когда система перешла в режим БЛОКИРОВКИ.
Ключевые детали инцидента
Система управления отслеживает совокупный риск от отклонённых операций. Когда этот риск превысил 0.50, система автоматически перешла в режим БЛОКИРОВКИ со следующими последствиями:
- Сессия могла по-прежнему читать файлы
- Все операции записи были заблокированы
- Команды изменения не могли выполняться
- Отправка в GitHub была предотвращена
- Слой управления заблокировал собственного оператора от завершения работы, которая укрепила бы систему управления
Механизм принуждения
БЛОКИРОВКА механически обеспечивается системой перехвата со следующими характеристиками:
- Канал переопределения отсутствует
- Модель не может обойти блокировку через диалог
- Оператор не может выдавать исключения внутри системы
- Единственный путь восстановления требует полного выхода из сессии
Процесс разрешения
Чтобы продолжить работу, разработчику пришлось:
- Выйти из управляемой сессии
- Открыть терминал на локальной машине
- Вручную отправить коммит
Система вынудила человеческое вмешательство за пределами своей юрисдикции, создав то, что разработчик описывает как "разницу между управлением, которое вы описываете, и управлением, которое вы применяете".
Примечания о поведении системы
Реализация БЛОКИРОВКИ не снижается плавно, не запрашивает подтверждения и сохраняет остановленное состояние до тех пор, пока не произойдёт внешнее человеческое действие. Разработчик отмечает: "Этот отказ и есть продукт".
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Клод Код обнаруживает 23-летнюю уязвимость в ядре Linux
Исследователь Anthropic Николас Карлини использовал Claude Code для обнаружения нескольких удалённо эксплуатируемых переполнений буфера кучи в ядре Linux, включая одну, которая была скрыта в течение 23 лет. ИИ нашёл ошибки с минимальным контролем, просканировав всё дерево исходного кода ядра.
Пользователь Reddit сообщает о сохранении виртуальной машины OpenClaw и подозрительной активности.
Пользователь Reddit сообщает, что его виртуальная машина OpenClaw автоматически перезапускается после закрытия и демонстрирует подозрительное поведение, включая открытие Microsoft Store и попытки загрузки сомнительных файлов.
Подход Виталика Бутерина к безопасной локальной настройке LLM
Виталик Бутерин описывает свою настройку самоуправляемой языковой модели, ориентированную на локальный вывод, изоляцию и снижение рисков приватности, таких как утечка данных и взломы.
Исходный код Cisco украден в результате атаки на цепочку поставок через Trivy
Внутренняя среда разработки Cisco была взломана с использованием украденных учетных данных из атаки на цепочку поставок Trivy, что привело к краже исходного кода из более чем 300 репозиториев GitHub, включая продукты на основе ИИ и код клиентов.