Lokaler Modell-Prompt-Injection-Scanner für KI-Fähigkeitensicherheit
Sicherheitslücke in KI-Fähigkeiten
Eine Diskussion auf X hat eine schwerwiegende Sicherheitslücke in Drittanbieter-KI-Fähigkeiten aufgezeigt. Claude Code unterstützt den !-Operator, um Bash-Befehle direkt innerhalb von Fähigkeiten auszuführen, aber diese Operatoren können in HTML-Tags versteckt werden, was zu Bash-Ausführungen führt, die dem LLM möglicherweise nicht bekannt sind.
Lokale Scanner-Implementierung
Ein Proof-of-Concept-Tool wurde entwickelt, um Fähigkeiten bei der Installation auf potenzielle Malware-Injektionen zu überprüfen. Der Scanner verwendet ein Nicht-Tool-Aufrufmodell, das lokal läuft, insbesondere mistral-small:latest auf Ollama. Der Ersteller berichtet, dass es während der Tests „perfekt funktioniert“ hat.
Der Ansatz funktioniert ähnlich wie ein Virenscanner und könnte in ein zukünftiges „Skill-Installer“-Produkt integriert werden. Der Schutz vor Prompt-Injection wird als vielversprechende Anwendung für lokale Modelle identifiziert.
Technische Details
Die Sicherheitslücke betrifft den !-Operator in Claude Code, der die direkte Ausführung von Bash-Befehlen ermöglicht. Angreifer können diese Operatoren innerhalb von HTML-Tags verstecken und möglicherweise bösartige Befehle ohne Wissen des LLM ausführen. Der Scanner befasst sich damit, indem er Fähigkeiten vor der Installation analysiert, um solche versteckten Injektionen zu erkennen.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
openclaw-credential-vault adressiert vier Wege der Anmeldedaten-Leckage in KI-Agenten
openclaw-credential-vault bietet Betriebssystemebenen-Isolierung und subprozessbezogene Anmeldedateninjektion, um vier häufige Wege der Anmeldedatenfreigabe in OpenClaw-Setups zu verhindern. Es umfasst eine Vier-Hook-Ausgabereinigung und funktioniert mit jedem CLI-Tool oder API.
Pi: 100-Millionen-Dollar-KI-Cyber-Agent von Ex-Tesla-Hacker sichert xAI, behebt Fehler in Minuten
Pi, ein KI-Sicherheitsagent des ehemaligen Tesla-Lead-Hackers Yoni Ramon, nutzt kontextbewusste Schwachstellenanalyse und automatische Fehlerbehebung. Der frühe Kunde Navan berichtet, dass 90% der Fehler in Minuten behoben werden, was 1-2 Vollzeitstellen einspart.
Google sagt, kriminelle Hacker nutzten KI, um eine Zero-Day-Sicherheitslücke zu finden
Google hat bekannt gegeben, dass Angreifer mithilfe eines KI-Agenten einen bisher unbekannten Softwarefehler entdeckt und ausgenutzt haben. Dies ist der erste bestätigte Fall einer KI-gesteuerten Zero-Day-Entdeckung im echten Einsatz.
Weit geöffnete Klaue: Sicherheitsrisiken durch zu lockere Discord-Bot-Berechtigungen
Ein Sicherheitsforscher demonstriert, wie OpenClaw ausgenutzt werden kann, wenn Nutzer den KI-Assistenten-Bot mit übermäßigen Berechtigungen zu ihrem Discord-Server hinzufügen, und dabei Nutzer ins Visier nimmt, die Root-/Admin-Zugriff gewähren, ohne Sicherheitskontrollen zu berücksichtigen.