Человеческие корни доверия: Установление ответственности для автономных агентов ИИ

Принцип Корня доверия человека решает основную проблему в цифровых системах: предположение, что за другим концом всегда находится человек. Поскольку автономные ИИ-агенты теперь выполняют задачи, которые раньше выполнялись только людьми, такие как управление транзакциями и подписание контрактов, возникает настоятельная необходимость в системах, которые могут связывать действия с подотчетными людьми.
Этот принцип вводит три основных столпа, необходимых для установления подотчетности в ИИ-системах:
- Доказательство человечности: Обеспечивает четкую связь между действиями агента и реальным человеком.
- Идентификатор устройства, основанный на оборудовании: Устанавливает целостность и подлинность устройства, гарантируя, что действия могут быть прослежены обратно к идентифицированному аппаратному источнику.
- Подтверждение действий: Предоставляет проверяемые доказательства того, что действия, предпринятые ИИ-агентами, являются подлинными и разрешенными человеком-первопричиной.
Архитектура включает шестиэтапную цепочку доверия, связывающую человека-первопричину с криптографической квитанцией, обеспечивая полную прослеживаемость действий. Корень доверия человека не является продуктом или стандартом, а принципом публичного домена, разработанным для создания систем, которые криптографически управляют и проверяют подотчетность.
Реализаторам, таким как специалисты по безопасности, криптографы и юридические эксперты, рекомендуется развивать и уточнять этот принцип, который доступен бесплатно без патентных претензий или требований по атрибуции пользователей. Поскольку ИИ-агенты становятся все более распространенными, подобные принципы будут играть ключевую роль в ответах на вопросы подотчетности со стороны регулирующих органов.
📖 Читать полный источник: HN AI Agents
👀 Смотрите также

Изучение рисков использования аккаунта Google с Gemini-Cli и подпиской Gemini Pro
Gemini-Cli и ваша подписка на Gemini Pro могут представлять некоторые риски для вашей учетной записи Google. Вот что вам нужно знать о потенциальных уязвимостях при использовании этих инструментов ИИ.

Предупреждение о безопасности: Скрипт ClawProxy похитил API-ключи, что привело к значительному счету от OpenRouter
Разработчик установил закрытый исходный код скрипта ClawProxy от пользователя Reddit на изолированную систему WSL Ubuntu 24.04, который украл его ключ API OpenRouter и использовал его через Google Vertex API, чтобы накрутить крупный счёт на Opus 4.6 за ночь.

Данные об угрозах из 91 тыс. взаимодействий с ИИ-агентами: злоупотребление инструментами выросло на 6,4%, появились новые мультимодальные атаки.
Анализ 91 284 взаимодействий ИИ-агентов за февраль 2026 года показывает, что злоупотребление инструментами/командами увеличилось на 6,4% до 14,5%, причём эскалация цепочки инструментов является доминирующим паттерном. Отравление RAG сместилось в сторону атак на метаданные (12,0%), а мультимодальная инъекция через изображения/PDF-файлы появилась на уровне 2,3%.

Офлайн-верификатор SBOM для OpenClaw обнаруживает отравленные навыки менее чем за 0,2 секунды.
Разработчик создал оффлайн-инструмент проверки SBOM на Rust, который обнаружил отравленный навык OpenClaw, похищающий SSH-ключи, при этом проверка завершается менее чем за 0,2 секунды без доступа к интернету.