隠れた音声信号で音声AIシステムを79～96%の成功率で乗っ取る

IEEE Symposium on Security and Privacyで発表された新たな研究により、大規模音声言語モデル（LALM）に対する実用的な攻撃ベクトルが明らかになりました。攻撃者はオーディオクリップに知覚できない信号を埋め込み、モデルの動作を乗っ取ることができ、MistralやMicrosoftの商用サービスを含む13の主要なオープンモデルに対して79〜96%の平均成功率を達成しています。

攻撃の仕組み

改変されたオーディオクリップは人間の耳には聞こえませんが、モデルに隠されたコマンドを実行させます。重要なのは、この攻撃がユーザーの付随する指示に関係なく機能し、同一のクリップを同じモデルに対して何度でも再利用できる点です。攻撃信号の学習には約30分かかります。

悪用される機能

研究者らは、侵害されたモデルが以下のことを強制的に行えることを実証しました。

• ユーザーに知られずに機密性の高いWeb検索を実行
• 攻撃者が管理するソースからのファイルダウンロード
• ユーザーデータを含むメールを外部アドレスに送信

影響を受けるモデル

この攻撃は、商用の音声AI APIを含む13の人気のあるオープンウェイトLALMに対して検証されました。これは、現在の音声AIシステムが敵対的な音響摂動に対する堅牢な防御策を欠いていることを示しています。