Подход Виталика Бутерина к безопасной локальной настройке LLM
Виталик Бутерин описывает свой подход к созданию приватной, безопасной и самоуправляемой настройки языковой модели, которая решает растущие проблемы безопасности ИИ-агентов и приватности данных.
Рассматриваемые проблемы безопасности
Бутерин выделяет несколько конкретных проблем приватности и безопасности, которые он пытается смягчить:
- Приватность (языковая модель): Удалённые модели получают приватные данные, которые могут быть использованы или проданы позже
- Приватность (другое): Утечка не-LLM данных через интернет-поисковые запросы и другие онлайн-API
- Взломы языковой модели: Удалённый контент «взламывает» языковую модель, заставляя её действовать против интересов пользователя
- Несчастные случаи с языковой моделью: Случайная отправка языковой моделью приватных данных по неправильным каналам
- Бэкдоры в языковой модели: Скрытые механизмы, встроенные в языковую модель при обучении, которые запускают действия в интересах создателя
- Ошибки и бэкдоры в ПО: Снижение зависимости от сторонних программ через код, написанный ИИ по индивидуальному заказу
Текущий ландшафт безопасности ИИ
В статье отмечается, что мейнстримный ИИ, включая локальный ИИ с открытым исходным кодом, часто не учитывает должным образом вопросы приватности и безопасности. Бутерин ссылается на конкретные критические замечания по безопасности агентов OpenClaw:
- Агенты могут изменять критические настройки без подтверждения человеком
- Обработка вредоносных внешних данных может привести к захвату экземпляра
- В одной демонстрации исследователи направили OpenClaw на суммирование веб-страниц, включая вредоносную страницу, которая приказала агенту загрузить и выполнить shell-скрипт
- Некоторые навыки содержат вредоносные инструкции, облегчающие скрытую эксфильтрацию данных
- Примерно 15% проанализированных навыков содержали вредоносные инструкции
Основные принципы
Настройка Бутерина следует этим ключевым принципам:
- Весь вывод языковой модели в первую очередь локальный
- Все файлы размещаются локально
- Изолировать всё
- Быть параноиком в отношении внешних интернет-угроз
Подход занимает жёсткую позицию по приватности и безопасности, хотя и не такую экстремальную, как физически изолированные настройки, используемые некоторыми коллегами.
📖 Прочитать полный источник: HN LLM Tools
👀 Смотрите также
Утечка данных OpenClaw: агент CEO продан за 25 тысяч долларов, 135 тысяч экземпляров оказались уязвимы.
Экземпляр OpenClaw генерального директора из Великобритании был продан за $25 000 на BreachForums, что привело к раскрытию файлов Markdown с открытым текстом, содержащих переписки, производственные базы данных, API-ключи и личные данные. SecurityScorecard обнаружила 135 000 экземпляров OpenClaw, доступных в интернете с небезопасными настройками по умолчанию.
Пять основных шагов по обеспечению безопасности для экземпляров OpenClaw
В посте на Reddit предупреждают, что запуск OpenClaw с настройками по умолчанию создаёт серьёзные риски безопасности, и предлагают пять немедленных действий: сменить порт по умолчанию, использовать Tailscale для приватного доступа, настроить брандмауэр, создать отдельные учётные записи для агента и проверять навыки перед установкой.
Инструмент для пентеста MCPwner AI обнаружил несколько уязвимостей нулевого дня в OpenClaw.
MCPwner, сервер MCP, который оркестрирует ИИ-агентов для автоматизированного тестирования на проникновение, выявил несколько критических уязвимостей нулевого дня в OpenClaw, включая инъекцию переменных окружения, обход разрешений и утечку информации, которые пропустили стандартные сканеры.
Три альтернативы с открытым исходным кодом для litellm после атаки на цепочку поставок PyPI
Версии litellm 1.82.7 и 1.82.8 на PyPI были скомпрометированы вредоносным ПО для кражи учетных данных. Три альтернативы с открытым исходным кодом включают Bifrost (на Go, ~50x быстрее по P99-задержке), Kosong (агент-ориентированный от Kimi) и Helicone (AI-шлюз с аналитикой).