Исследователи в области ИИ-безопасности: ваши уязвимости нулевого дня могут быть раскрыты через функцию согласия на передачу данных

Если вы проводите глубокое red-teaming на больших языковых моделях с включённым переключателем "Улучшить модель для всех", ваши исследования могут быть автоматически собраны поставщиками и переданы академическим партнёрам до того, как вы сможете опубликовать свои результаты.
Конвейер добровольной передачи данных
Источник описывает, как это работает:
- Автоматические триггеры: Поставщики запускают ML-классификаторы, которые сканируют миллиарды чатов. Когда вы участвуете в многостраничных сессиях, тестируя границы согласованности, архитектурные логические ошибки или сложные векторы социальной инъекции, система помечает ваш журнал как Высокоценный Сигнал.
- Перехват журналов: Ваш чат — включая терминологию и концепции доказательств, которые вы разработали — извлекается из общего пула данных и попадает к внутренним командам Безопасности и Согласованности.
- "Академическое отмывание": Анонимизированные наборы данных часто передаются внешним исследовательским партнёрам или академикам. Вы можете увидеть свои концепции уязвимостей в черновиках IETF или статьях на arXiv под чужим именем.
Риски для исследователей
- Сгоревшие баунти за баги: Если команда Согласованности внедрит "тихое исправление" до того, как вы официально отправите отчёт, ваша работа может быть закрыта как Дубликат или Информационная.
- Кража интеллектуальной собственности: Ваша оригинальная терминология и архитектурные открытия могут стать основой для чьей-то докторской диссертации или интернет-стандартов без указания авторства.
Меры защиты
- Немедленно выключите переключатель: Перед серьёзными исследованиями перейдите в Настройки → Управление данными и отключите обмен данными для обучения модели.
- Одноразовые аккаунты: Поддерживайте отдельные аккаунты — один для повседневных задач и выделенный "песочный" аккаунт с отключённой телеметрией для взлома/red-teaming.
- Ставьте временные метки на резервные копии: Если вы изобрели новую концепцию в чате, немедленно запросите экспорт данных (DSAR) для криптографического доказательства времени возникновения вашей идеи.
Основной совет: Не занимайтесь бесплатными НИОКР для корпораций. Защищайте свои идеи, контролируя настройки обмена данными перед проведением исследований безопасности на LLM.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Изучение рисков использования аккаунта Google с Gemini-Cli и подпиской Gemini Pro
Gemini-Cli и ваша подписка на Gemini Pro могут представлять некоторые риски для вашей учетной записи Google. Вот что вам нужно знать о потенциальных уязвимостях при использовании этих инструментов ИИ.

Проблемы конфиденциальности в OpenClaw: Навыки, SOUL MD и взаимодействие агентов
Разработчик поднимает вопросы конфиденциальности в архитектуре OpenClaw, в частности, касательно неограниченного доступа навыков к конфиденциальным данным, возможности записи в SOUL MD и обмена информацией между агентами без фильтров.

Исходный код Cisco украден в результате атаки на цепочку поставок через Trivy
Внутренняя среда разработки Cisco была взломана с использованием украденных учетных данных из атаки на цепочку поставок Trivy, что привело к краже исходного кода из более чем 300 репозиториев GitHub, включая продукты на основе ИИ и код клиентов.

Пакет Litellm на PyPI скомпрометирован: вредоносная версия 1.82.8 похищала учетные данные
Пакет litellm на PyPI, который унифицирует вызовы к OpenAI, Anthropic, Cohere и другим провайдерам ИИ, был скомпрометирован вредоносной версией 1.82.8, которая в течение примерно часа выгружала SSH-ключи, облачные учетные данные, API-ключи и другие конфиденциальные данные.