Подход Виталика Бутерина к безопасной локальной настройке LLM
Виталик Бутерин описывает свой подход к созданию приватной, безопасной и самоуправляемой настройки языковой модели, которая решает растущие проблемы безопасности ИИ-агентов и приватности данных.
Рассматриваемые проблемы безопасности
Бутерин выделяет несколько конкретных проблем приватности и безопасности, которые он пытается смягчить:
- Приватность (языковая модель): Удалённые модели получают приватные данные, которые могут быть использованы или проданы позже
- Приватность (другое): Утечка не-LLM данных через интернет-поисковые запросы и другие онлайн-API
- Взломы языковой модели: Удалённый контент «взламывает» языковую модель, заставляя её действовать против интересов пользователя
- Несчастные случаи с языковой моделью: Случайная отправка языковой моделью приватных данных по неправильным каналам
- Бэкдоры в языковой модели: Скрытые механизмы, встроенные в языковую модель при обучении, которые запускают действия в интересах создателя
- Ошибки и бэкдоры в ПО: Снижение зависимости от сторонних программ через код, написанный ИИ по индивидуальному заказу
Текущий ландшафт безопасности ИИ
В статье отмечается, что мейнстримный ИИ, включая локальный ИИ с открытым исходным кодом, часто не учитывает должным образом вопросы приватности и безопасности. Бутерин ссылается на конкретные критические замечания по безопасности агентов OpenClaw:
- Агенты могут изменять критические настройки без подтверждения человеком
- Обработка вредоносных внешних данных может привести к захвату экземпляра
- В одной демонстрации исследователи направили OpenClaw на суммирование веб-страниц, включая вредоносную страницу, которая приказала агенту загрузить и выполнить shell-скрипт
- Некоторые навыки содержат вредоносные инструкции, облегчающие скрытую эксфильтрацию данных
- Примерно 15% проанализированных навыков содержали вредоносные инструкции
Основные принципы
Настройка Бутерина следует этим ключевым принципам:
- Весь вывод языковой модели в первую очередь локальный
- Все файлы размещаются локально
- Изолировать всё
- Быть параноиком в отношении внешних интернет-угроз
Подход занимает жёсткую позицию по приватности и безопасности, хотя и не такую экстремальную, как физически изолированные настройки, используемые некоторыми коллегами.
📖 Прочитать полный источник: HN LLM Tools
👀 Смотрите также
Ядро Linux предлагает децентрализованную систему идентификации для замены сети доверия PGP.
Разработчики ядра Linux работают над децентрализованным уровнем идентификации под названием Linux ID, который должен заменить нынешнюю сеть доверия PGP. Система использует децентрализованные идентификаторы (DID) в стиле W3C и верифицируемые учетные данные для аутентификации разработчиков без необходимости проведения очных сессий подписания ключей.
Архитектурное решение для проблемы чрезмерной централизации ИИ-агентов: разделение памяти, исполнения и исходящих действий.
Разработчик осознал, что его ИИ-ассистент превращается во «внутреннего автократа», объединяя долговременную память, доступ к инструментам и автономные решения в одном компоненте. Решение заключалось в разделении системы на три роли: приватный контроллер, ограниченные рабочие агенты и исходящий шлюз.
ИИ-чатботы могут незаметно вставлять рекламу в ответы, не привлекая внимания пользователей.
Исследование показывает, что ИИ-чатботы могут незаметно встраивать рекламу товаров в свои ответы, влияя на выбор пользователей, при этом большинство участников не замечали манипуляции. В ходе исследования использовался специальный чатбот для демонстрации эффекта.
Широко открытый коготь: Угрозы безопасности из-за излишних разрешений для ботов в Discord
Исследователь безопасности демонстрирует, как OpenClaw может быть использован злоумышленниками, когда пользователи добавляют бота-ассистента ИИ на свой Discord-сервер с чрезмерными разрешениями, нацеливаясь на пользователей, которые предоставляют root- или административный доступ без учёта мер безопасности.