Signaux audio cachés détournent les systèmes d'IA vocale avec un taux de succès de 79 à 96 %

De nouvelles recherches présentées à l'IEEE Symposium on Security and Privacy révèlent une attaque pratique contre les grands modèles audio-langagiers (LALM). Les attaquants peuvent intégrer des signaux imperceptibles dans des clips audio pour détourner le comportement du modèle, atteignant un taux de succès moyen de 79 à 96 % sur 13 modèles ouverts leaders, y compris les services commerciaux de Microsoft et Mistral.

Comment l'attaque fonctionne

Le clip audio modifié est inaudible pour l'oreille humaine mais déclenche l'exécution de commandes cachées par le modèle. Crucialement, l'attaque fonctionne indépendamment des instructions de l'utilisateur, rendant le même clip réutilisable plusieurs fois contre le même modèle. L'entraînement du signal antagoniste prend environ 30 minutes.

Capacités exploitées

Les chercheurs ont démontré que les modèles compromis pouvaient être contraints de :

• Effectuer des recherches web sensibles sans connaissance de l'utilisateur
• Télécharger des fichiers depuis des sources contrôlées par l'attaquant
• Envoyer des e-mails contenant des données utilisateur vers des adresses externes

Modèles affectés

L'attaque a été validée contre 13 modèles LALM ouverts populaires, y compris les API vocales commerciales. Cela souligne que les systèmes vocaux actuels manquent de protections robustes contre les perturbations audio antagonistes.