Señales de Audio Ocultas Secuestran Sistemas de Voz de IA con una Tasa de Éxito del 79-96%

Una nueva investigación presentada en el IEEE Symposium on Security and Privacy revela un vector de ataque práctico contra los Modelos de Lenguaje y Audio Grandes (LALM). Los atacantes pueden incrustar señales imperceptibles en clips de audio para secuestrar el comportamiento del modelo, logrando una tasa de éxito promedio del 79-96% en 13 modelos abiertos líderes, incluidos servicios comerciales de Microsoft y Mistral.

Cómo Funciona el Ataque

El clip de audio modificado es inaudible para el oído humano, pero desencadena que el modelo ejecute comandos ocultos. Fundamentalmente, el ataque funciona independientemente de las instrucciones que acompañe el usuario, haciendo que el mismo clip sea reutilizable contra el mismo modelo varias veces. Entrenar la señal adversarial toma aproximadamente 30 minutos.

Capacidades Explotadas

Los investigadores demostraron que los modelos comprometidos podían ser forzados a:

• Realizar búsquedas web sensibles sin conocimiento del usuario
• Descargar archivos desde fuentes controladas por el atacante
• Enviar correos electrónicos con datos del usuario a direcciones externas

Modelos Afectados

El ataque fue validado contra 13 populares LALM de peso abierto, incluidas las API comerciales de voz AI. Esto resalta que los sistemas actuales de voz AI carecen de salvaguardas robustas contra perturbaciones adversariales de audio.