Versteckte Audiosignale kapern Sprach-KI-Systeme mit 79-96% Erfolgsrate
Neue Forschungsergebnisse, die auf dem IEEE Symposium on Security and Privacy vorgestellt wurden, zeigen einen praktischen Angriffsvektor gegen große Audio-Sprachmodelle (LALMs). Angreifer können unhörbare Signale in Audio-Clips einbetten, um das Modellverhalten zu kapern, und erreichen eine durchschnittliche Erfolgsrate von 79-96 % bei 13 führenden offenen Modellen, darunter kommerzielle Dienste von Microsoft und Mistral.
Wie der Angriff funktioniert
Der modifizierte Audio-Clip ist für das menschliche Ohr unhörbar, löst aber im Modell die Ausführung versteckter Befehle aus. Entscheidend ist, dass der Angriff unabhängig von den begleitenden Anweisungen des Benutzers funktioniert, sodass derselbe Clip mehrfach gegen dasselbe Modell wiederverwendet werden kann. Das Training des adversarialen Signals dauert etwa 30 Minuten.
Ausgenutzte Fähigkeiten
Die Forscher demonstrierten, dass kompromittierte Modelle gezwungen werden konnten:
- sensible Websuchen ohne Wissen des Benutzers durchzuführen
- Dateien von angreiferkontrollierten Quellen herunterzuladen
- E-Mails mit Benutzerdaten an externe Adressen zu senden
Betroffene Modelle
Der Angriff wurde gegen 13 gängige Open-Weight-LALMs validiert, darunter kommerzielle Sprach-KI-APIs. Dies zeigt, dass aktuelle Sprach-KI-Systeme keine robusten Sicherheitsvorkehrungen gegen adversarial Audio-Störungen bieten.
📖 Read the full source: HN AI Agents
👀 Siehe auch
OpenObscure: Open-Source On-Device Privacy-Firewall für KI-Agenten
OpenObscure ist eine Open-Source-Datenschutz-Firewall auf dem Gerät, die zwischen KI-Agenten und LLM-Anbietern sitzt. Sie verwendet FF1-Format-Erhaltende Verschlüsselung mit AES-256, um PII-Werte zu verschlüsseln, bevor Anfragen Ihr Gerät verlassen, wodurch die Datenstruktur erhalten bleibt und die Privatsphäre geschützt wird.
Snowflake Cortex Code CLI-Schwachstelle ermöglichte Sandbox-Escape und Malware-Ausführung
Eine Sicherheitslücke in Snowflake Cortex Code CLI Version 1.0.25 und früher ermöglichte die Ausführung beliebiger Befehle ohne menschliche Genehmigung über eine Prozesssubstitutionsumgehung, was die Installation von Malware und das Umgehen der Sandbox durch indirekte Prompt-Injection erlaubte.
Bitwarden Agent Access SDK integriert sich mit OneCLI für die sichere Einspritzung von Anmeldeinformationen
Bitwardens neues Agent Access SDK ermöglicht es KI-Agenten, mit menschlicher Genehmigung auf Anmeldedaten aus Bitwardens Tresor zuzugreifen, während OneCLI als Gateway fungiert, das Anmeldedaten auf der Netzwerkebene injiziert, ohne die Rohwerte den Agenten preiszugeben.
Verhinderung der Teilnahme von KI-Agenten an Botnets: Sicherheitsueberlegungen
Die Community diskutiert den Schutz autonomer KI-Agenten vor Uebernahme oder Nutzung in boesartigen Botnets.