Lokaler Modell-Prompt-Injection-Scanner für KI-Fähigkeitensicherheit

Sicherheitslücke in KI-Fähigkeiten

Eine Diskussion auf X hat eine schwerwiegende Sicherheitslücke in Drittanbieter-KI-Fähigkeiten aufgezeigt. Claude Code unterstützt den !-Operator, um Bash-Befehle direkt innerhalb von Fähigkeiten auszuführen, aber diese Operatoren können in HTML-Tags versteckt werden, was zu Bash-Ausführungen führt, die dem LLM möglicherweise nicht bekannt sind.

Lokale Scanner-Implementierung

Ein Proof-of-Concept-Tool wurde entwickelt, um Fähigkeiten bei der Installation auf potenzielle Malware-Injektionen zu überprüfen. Der Scanner verwendet ein Nicht-Tool-Aufrufmodell, das lokal läuft, insbesondere mistral-small:latest auf Ollama. Der Ersteller berichtet, dass es während der Tests „perfekt funktioniert“ hat.

Der Ansatz funktioniert ähnlich wie ein Virenscanner und könnte in ein zukünftiges „Skill-Installer“-Produkt integriert werden. Der Schutz vor Prompt-Injection wird als vielversprechende Anwendung für lokale Modelle identifiziert.

Technische Details

Die Sicherheitslücke betrifft den !-Operator in Claude Code, der die direkte Ausführung von Bash-Befehlen ermöglicht. Angreifer können diese Operatoren innerhalb von HTML-Tags verstecken und möglicherweise bösartige Befehle ohne Wissen des LLM ausführen. Der Scanner befasst sich damit, indem er Fähigkeiten vor der Installation analysiert, um solche versteckten Injektionen zu erkennen.