🔒 Безопасность
Оповещения о безопасности и лучшие практики
Исследователи Университета Торонто продемонстрировали ИИ-червя, работающего на бесплатных моделях с открытым весом
Исследователи из Университета Торонто продемонстрировали первого ИИ-червя, который адаптирует свою стратегию распространения с помощью общедоступных моделей с открытым весом, нацеливаясь на любое онлайн-устройство.
Концепции безопасности для Vibe-кодинга с Claude Code: Аутентификация, Авторизация и Принуждение
Старший инженер разбирает аутентификацию, авторизацию и контроль доступа для приложений, созданных с помощью ИИ, используя метафору отеля — плюс как попросить AI-агентов проверить безопасность.
Функция AI-поддержки Meta позволяет любому угнать аккаунты Instagram — подробности эксплойта внутри
Функция поддержки AI в Instagram, проходящая A/B-тестирование, позволяет злоумышленникам сбросить пароль, попросив агента отправить код на произвольный email. Уже взломано более 100 ценных аккаунтов.
PolyRange: Устойчивый к загрязнению бенчмарк для атакующего ИИ с целями, сгенерированными LLM
PolyRange v1.0 — это бенчмарк с лицензией MIT, который можно разместить самостоятельно. Он генерирует свежие веб-цели для каждого запуска, чтобы предотвратить загрязнение обучающих данных. Включает 84 класса, производных от WSTG, по всем категориям OWASP, два уровня защиты и реальные бэкенды.
jqwik v1.10.0 позволяет скрытое внедрение запросов, которое удаляет код при использовании AI-агентами
Йоханнес Линк добавил скрытую инструкцию в jqwik v1.10.0, которая сообщает ИИ-агентам по кодингу удалить все тесты и код jqwik, скрытую с помощью ANSI-символов. Claude правильно её обнаруживает, но пользователи-люди могут быть не так удачливы.
Безопасный поток утверждения администратором для групповых чат-ассистентов от инъекций подсказок
Практический подход к защите LLM-ассистентов в общих групповых чатах: приостановка VM, OAuth и инструментов выполнения кода до подтверждения администратором по временной ссылке.
Атаки с маскировкой домена обходят детекторы в многолетних LLM-системах
Новое исследование показывает, что инъекционные полезные нагрузки, адаптированные под словарь предметной области, обходят детекцию: IDR упал с 93.8% до 9.7%. Многоагентные дебаты усиливают атаки. Llama Guard 3 не обнаруживает ни одной полезной нагрузки.
Sieve: Локальный сканер секретов для истории чатов инструментов ИИ-кодинга
Sieve сканирует историю чатов Cursor, Claude Code, Copilot и других AI-ассистентов кодирования на наличие утекших API-ключей и токенов. Все сканирование происходит локально, с редактированием и хранилищем Keychain macOS.
Агенты ИИ позволяют хакерам-одиночкам взламывать правительства и проводить кампании программ-вымогателей
Одиночный оператор с помощью Claude Code и ChatGPT выкрал 150 ГБ данных из правительственных учреждений Мексики, включая 195 миллионов записей налогоплательщиков. Другой злоумышленник использовал Claude Code для проведения полномасштабной кампании вымогательства против 17 организаций здравоохранения и экстренных служб.
Скрытые аудиосигналы взламывают голосовые AI-системы с успешностью 79-96%
Исследование показывает, что незаметные аудиоклипы могут заставить LALM выполнять несанкционированные команды, такие как поиск в интернете, загрузка файлов и кража электронной почты, с успешностью 79–96% на 13 моделях, включая Mistral и сервисы Microsoft.
AI-чатботы утекают реальные номера телефонов: проблема утечки PII
Чат-боты, такие как Gemini, ChatGPT и Claude, раскрывают реальные личные номера телефонов из-за содержания PII в обучающих данных. DeleteMe сообщает о 400%-ном увеличении запросов на конфиденциальность, связанных с ИИ, за семь месяцев.
LLM-ассистированный эксплойт: Предварительная версия Mythos от Anthropic помогла создать первый публичный эксплойт ядра macOS на Apple M5 за пять дней
Используя Anthropic Mythos Preview, фирма по безопасности Calif создала первый публичный эксплойт повреждения памяти ядра macOS на кремнии Apple M5 за пять дней, взломав аппаратную защиту MIE, которую Apple разрабатывала пять лет.