Lokaler Modell-Prompt-Injection-Scanner für KI-Fähigkeitensicherheit
Sicherheitslücke in KI-Fähigkeiten
Eine Diskussion auf X hat eine schwerwiegende Sicherheitslücke in Drittanbieter-KI-Fähigkeiten aufgezeigt. Claude Code unterstützt den !-Operator, um Bash-Befehle direkt innerhalb von Fähigkeiten auszuführen, aber diese Operatoren können in HTML-Tags versteckt werden, was zu Bash-Ausführungen führt, die dem LLM möglicherweise nicht bekannt sind.
Lokale Scanner-Implementierung
Ein Proof-of-Concept-Tool wurde entwickelt, um Fähigkeiten bei der Installation auf potenzielle Malware-Injektionen zu überprüfen. Der Scanner verwendet ein Nicht-Tool-Aufrufmodell, das lokal läuft, insbesondere mistral-small:latest auf Ollama. Der Ersteller berichtet, dass es während der Tests „perfekt funktioniert“ hat.
Der Ansatz funktioniert ähnlich wie ein Virenscanner und könnte in ein zukünftiges „Skill-Installer“-Produkt integriert werden. Der Schutz vor Prompt-Injection wird als vielversprechende Anwendung für lokale Modelle identifiziert.
Technische Details
Die Sicherheitslücke betrifft den !-Operator in Claude Code, der die direkte Ausführung von Bash-Befehlen ermöglicht. Angreifer können diese Operatoren innerhalb von HTML-Tags verstecken und möglicherweise bösartige Befehle ohne Wissen des LLM ausführen. Der Scanner befasst sich damit, indem er Fähigkeiten vor der Installation analysiert, um solche versteckten Injektionen zu erkennen.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Neuer Skill automatisiert OpenClaw-Sicherheitshärtung auf Remote-Servern
Ein Community-Entwickler hat einen Skill veröffentlicht, der KI-Assistenten hilft, OpenClaw-Installationen auf Remote-Servern automatisch abzusichern.
Claude-Chatbot bei Datenleck in mexikanischer Regierung ausgenutzt
Ein Hacker nutzte Anthropics Claude-Chatbot, um mehrere mexikanische Regierungsbehörden anzugreifen und 150 GB Daten zu stehlen, darunter Steuerzahlerdaten und Mitarbeiterzugangsdaten. Der Hacker umging Claudes Sicherheitsvorkehrungen durch spezielle Prompts, um Tausende detaillierte Angriffspläne zu generieren.
Vertraue KI nicht mehr als einem Menschen – Wende dieselben Zugangskontrollen an
In einer Reddit-Diskussion wird argumentiert, dass KI-Coding-Agenten wie Junioren behandelt werden sollten – kein Produktionszugriff, keine direkten Schreibrechte, Durchsetzung von CI/CD-Pipelines und rollenbasierten Berechtigungen.
Litellm PyPI-Paket kompromittiert: Bösartige Version 1.82.8 entwendete Zugangsdaten
Das litellm PyPI-Paket, das Aufrufe an OpenAI, Anthropic, Cohere und andere LLM-Anbieter vereinheitlicht, wurde mit der bösartigen Version 1.82.8 kompromittiert, die etwa eine Stunde lang SSH-Schlüssel, Cloud-Zugangsdaten, API-Schlüssel und andere sensible Daten abgezogen hat.