Чего не хватает в истории об «агентности»: четко определенной роли пользовательского агента

Последний пост Марка Ноттингема на HN бросает вызов распространенному нарративу об «агентных» ИИ-системах. Он утверждает, что ключевой недостающий элемент — это четко определенная роль пользовательского агента: ясная и исполнимая гарантия того, что агент действует исключительно от имени пользователя, не имея скрытой лояльности к своим создателям или третьим сторонам.

Ключевые моменты статьи

• Исторически локальное программное обеспечение (электронные таблицы, текстовые процессоры) было надежным, потому что не имело внешних зависимостей и не могло действовать против интересов пользователя, не будучи вредоносным.
• Современные подключенные к интернету устройства включают интересы множества сторон (поставщиков чипов, производителей ОС, разработчиков приложений, облачных сервисов), и эти интересы не всегда совпадают с интересами пользователя.
• Примеры несоответствия: «умные» телевизоры, шпионящие за привычками просмотра; Meta, дешифрующая частный трафик для исследований; Microsoft Outlook, отправляющий пароли от сторонних почтовых сервисов в свое облако для обмена с более чем 700 брокерами данных; автопроизводители, продающие данные о вождении страховщикам.
• Предположение, что инструмент работает на вас только потому, что вы им владеете, устарело. ИИ-агент — это не отвертка; у него есть свои собственные возможности и зависимости.
• Ноттингем призывает к формальному контракту «пользовательский агент» — техническому и юридическому механизму, гарантирующему, что агент не может действовать от имени кого-либо, кроме пользователя, без явного информированного согласия.

Почему это важно для ИИ-агентов кодирования

Когда вы запускаете ИИ-агента кодирования, он читает ваш код, выполняет команды терминала и может отправлять изменения на GitHub или разворачивать в продакшн. Если основная модель или API этого агента имеют скрытую лояльность (например, дообучены в пользу конкретного облачного провайдера, извлекают данные или сообщают аналитику использования), вы теряете контроль. Без четкой роли пользовательского агента доверять ИИ-агенту — все равно что доверять «умной» отвертке, которая может звонить домой.

Статья не предлагает конкретную реализацию, но обозначает проблему: нам нужны прозрачные, проверяемые архитектуры агентов, где пользователь является единственным принципалом. Инструменты, такие как политический движок с открытым исходным кодом от OpenClaw (позволяющий задавать пользовательские ограничения для агентов), являются шагом в этом направлении.

Если вы создаете или используете ИИ-агентов, это обязательное чтение.