Sinais de áudio ocultos sequestram sistemas de IA de voz com 79-96% de sucesso

Nova pesquisa apresentada no IEEE Symposium on Security and Privacy revela um vetor de ataque prático contra Grandes Modelos de Áudio-Linguagem (LALMs). Atacantes podem incorporar sinais imperceptíveis em clipes de áudio para sequestrar o comportamento do modelo, alcançando uma taxa média de sucesso de 79-96% em 13 modelos abertos líderes, incluindo serviços comerciais da Microsoft e Mistral.

Como o Ataque Funciona

O clipe de áudio modificado é inaudível para ouvidos humanos, mas aciona o modelo para executar comandos ocultos. Crucialmente, o ataque funciona independentemente das instruções do usuário, tornando o mesmo clipe reutilizável contra o mesmo modelo várias vezes. O treinamento do sinal adversarial leva aproximadamente 30 minutos.

Capacidades Exploradas

Os pesquisadores demonstraram que modelos comprometidos podem ser coagidos a:

• Realizar pesquisas sensíveis na web sem o conhecimento do usuário
• Baixar arquivos de fontes controladas pelo atacante
• Enviar e-mails contendo dados do usuário para endereços externos

Modelos Afetados

O ataque foi validado contra 13 LALMs populares de peso aberto, incluindo APIs comerciais de voz AI. Isso destaca que os sistemas atuais de voz AI carecem de proteções robustas contra perturbações adversariais de áudio.