Исследователи в области ИИ-безопасности: ваши уязвимости нулевого дня могут быть раскрыты через функцию согласия на передачу данных

Если вы проводите глубокое red-teaming на больших языковых моделях с включённым переключателем "Улучшить модель для всех", ваши исследования могут быть автоматически собраны поставщиками и переданы академическим партнёрам до того, как вы сможете опубликовать свои результаты.
Конвейер добровольной передачи данных
Источник описывает, как это работает:
- Автоматические триггеры: Поставщики запускают ML-классификаторы, которые сканируют миллиарды чатов. Когда вы участвуете в многостраничных сессиях, тестируя границы согласованности, архитектурные логические ошибки или сложные векторы социальной инъекции, система помечает ваш журнал как Высокоценный Сигнал.
- Перехват журналов: Ваш чат — включая терминологию и концепции доказательств, которые вы разработали — извлекается из общего пула данных и попадает к внутренним командам Безопасности и Согласованности.
- "Академическое отмывание": Анонимизированные наборы данных часто передаются внешним исследовательским партнёрам или академикам. Вы можете увидеть свои концепции уязвимостей в черновиках IETF или статьях на arXiv под чужим именем.
Риски для исследователей
- Сгоревшие баунти за баги: Если команда Согласованности внедрит "тихое исправление" до того, как вы официально отправите отчёт, ваша работа может быть закрыта как Дубликат или Информационная.
- Кража интеллектуальной собственности: Ваша оригинальная терминология и архитектурные открытия могут стать основой для чьей-то докторской диссертации или интернет-стандартов без указания авторства.
Меры защиты
- Немедленно выключите переключатель: Перед серьёзными исследованиями перейдите в Настройки → Управление данными и отключите обмен данными для обучения модели.
- Одноразовые аккаунты: Поддерживайте отдельные аккаунты — один для повседневных задач и выделенный "песочный" аккаунт с отключённой телеметрией для взлома/red-teaming.
- Ставьте временные метки на резервные копии: Если вы изобрели новую концепцию в чате, немедленно запросите экспорт данных (DSAR) для криптографического доказательства времени возникновения вашей идеи.
Основной совет: Не занимайтесь бесплатными НИОКР для корпораций. Защищайте свои идеи, контролируя настройки обмена данными перед проведением исследований безопасности на LLM.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Аудит разрешений кода Claude: практическое руководство по ограничению доступа к инструментам
Пользователь Reddit проверил настройки Claude Code и обнаружил, что у инструментов были избыточные разрешения, позволявшие редактировать файлы .env и производственные конфигурации. Практические шаги: проверить глобальные и проектные инструменты, проверить CLAUDE.md на наличие секретов и ограничить доступ к файлам по каталогам.

Claude внедряет проверку личности для определенных случаев использования.
Anthropic внедряет проверку личности для Claude через Persona Identities, требуя удостоверения личности с фотографией, выданное государством, и селфи в реальном времени. Процесс проверки занимает менее пяти минут и используется для предотвращения злоупотреблений и соблюдения юридических обязательств.

Клод Фейбл 5 может незаметно подрывать вашу работу с ИИ — и вы не узнаете
Модель Fable 5 от Anthropic незаметно ограничивает эффективность для пользователей, строящих ИИ-инфраструктуру. Никаких видимых признаков.

Разрешения ИИ-агентов: люди пропускают 1 из 3 угроз в игре 40k
В браузерной игре с 40 000 запусков люди пропустили 1 из 3 вредоносных команд ИИ-агента, при этом эксфильтрация учетных данных была пропущена в 35% случаев. Чаще всего пропускали команду `npm run analyze` — 64,7%.