Скрытые аудиосигналы взламывают голосовые AI-системы с успешностью 79-96%

Новое исследование, представленное на симпозиуме IEEE по безопасности и конфиденциальности, раскрывает практический вектор атаки на большие аудио-языковые модели (LALM). Злоумышленники могут встраивать незаметные сигналы в аудиоклипы, чтобы перехватить поведение модели, достигая 79–96% средней успешности на 13 ведущих открытых моделях, включая коммерческие сервисы от Microsoft и Mistral.

Как работает атака

Модифицированный аудиоклип неслышим для человеческого уха, но заставляет модель выполнять скрытые команды. Важно, что атака работает независимо от сопутствующих инструкций пользователя, что позволяет многократно использовать один и тот же клип против одной и той же модели. Обучение состязательного сигнала занимает примерно 30 минут.

Используемые возможности

Исследователи продемонстрировали, что скомпрометированные модели могут быть вынуждены:

• Выполнять конфиденциальный поиск в интернете без ведома пользователя
• Загружать файлы из источников, контролируемых злоумышленником
• Отправлять электронные письма, содержащие данные пользователя, на внешние адреса

Затронутые модели

Атака была проверена на 13 популярных открытых LALM, включая коммерческие API голосового ИИ. Это подчеркивает, что текущие системы голосового ИИ не имеют надежных защитных мер против состязательных аудио-возмущений.