Разрешения ИИ-агентов: люди пропускают 1 из 3 угроз в игре 40k

Scale X провела браузерную игру, где вы одобряете или отклоняете команды ИИ-кодинг-агента в условиях нехватки времени. За более чем 40 000 запусков и 409 000 решений люди пропустили 1 из 3 угроз (средняя точность 66,3%). 32,9% сессий закончились отрицательным результатом. 35,2% поймали все угрозы, но только 20,8% сделали это, не блокируя 1 из 5 безопасных команд. 7% одобрили все подсказки — большие поклонники --dangerously-skip-permissions.

В игре было 37 команд-угроз четырех категорий, с частотой пропусков:

• Очевидно разрушительные (например, rm -rf /, chmod -R 777 /): 11,7%
• Постоянные мутации (например, инъекция в crontab, перехват git config): 23,8%
• Эксфильтрация / выполнение кода (например, curl на неизвестные API, пакеты-тайпсквоттеры): 33,4%
• Нарушение границ (например, cat ~/.aws/credentials, cat ~/.kube/config): 35,0%

Самая пропускаемая команда — npm run analyze, одобрена в 64,7% случаев. В журнале игры видно, что скрипт в package.json был изменен, чтобы включить эксфильтрацию через curl, но игроки все равно одобряли его. Три такие команды (npm run analyze, npm run setup — 48,0%, npm run deploy — 44,9%) были объединены и пропущены в 52,5% случаев, против 28,4% для других атак с эксфильтрацией.

Это подчеркивает фундаментальную проблему: одобрение на уровне команд ошибочно. Как отметил один комментатор на HN, npm run build выполняет произвольный скрипт из package.json, и агент мог отредактировать этот файл (или любой импортированный модуль) без одобрения. Пользователи видят команды, которые выглядят безопасно, но контекст имеет значение.

Anthropic ранее отмечал, что «усталость от разрешений» усиливается с ростом числа одобрений. Оговорка: в игре был искусственно высокий уровень угроз (~34%) и цейтнот, но такая тенденция вызывает беспокойство по поводу человеческого контроля как механизма безопасности.