Open-Source RAG-Angriffs- und Verteidigungslabor für lokale ChromaDB + LM Studio Stacks
Was das ist
Aminrj Labs hat ein Open-Source-RAG-Angriffs- und Abwehrlabor veröffentlicht, das vollständig lokal auf Consumer-Hardware läuft und speziell ChromaDB + LM Studio-Stacks mit Standard-LangChain-Stil-Chunking ins Visier nimmt. Es sind keine Cloud-Dienste oder API-Schlüssel erforderlich – es läuft auf Hardware wie einem MacBook Pro.
Wichtige Erkenntnisse aus dem Labor
Das Labor misst die Wirksamkeit von Wissensbasisvergiftungen gegen Standard-Lokal-RAG-Setups. Auf einem ungeschützten ChromaDB-System erreichen Vergiftungsangriffe eine Erfolgsquote von 95 %. Der Angriff operiert auf der Abrufebene – es ist kein Jailbreak, Modellzugriff oder Prompt-Manipulation erforderlich. Das Modell funktioniert genau wie vorgesehen, nur mit vergiftetem Kontext.
Eine bemerkenswerte Beobachtung zum Standard-Chunking: Bei 512-Token-Chunks und 200-Token-Überlappung wird ein Dokument an einer Chunk-Grenze zweimal als zwei unabhängige Chunks eingebettet. Dies verdoppelt die Abrufwahrscheinlichkeit ohne zusätzliche Raffinesse, ein Nebeneffekt von Einstellungen, die die meisten lokalen Setups ohne Überlegung übernehmen.
Der häufigste Abwehransatz – Ausgabefilterung – zielt auf die falsche Ebene ab, da die Kompromittierung vor der Generierung erfolgt. Anomalieerkennung bei der Einbettung während der Erfassung erweist sich als wirksam: Die Bewertung eingehender Dokumente gegen die bestehende Sammlung vor dem Schreiben reduziert die Vergiftungserfolgsquote von 95 % auf 20 %.
Bei allen fünf aktiven Abwehrmaßnahmen beträgt die verbleibende Vergiftungserfolgsquote 10 %. Diese Fälle sind semantisch nahe genug an der Basislinie, sodass keine Ebene sie eindeutig erkennt, was die praktische Obergrenze für die Abwehr darstellt.
Technische Details
- Stack: ChromaDB + LM Studio mit Qwen2.5-7B
- Chunking: Standard-LangChain-Stil mit 512-Token-Chunks und 200-Token-Überlappung
- Angriffserfolg auf ungeschütztem System: 95 %
- Abwehrwirksamkeit mit Einbettungs-Anomalieerkennung: Senkt Vergiftung auf 20 %
- Verbleibende Vergiftung mit allen Abwehrmaßnahmen: 10 %
Das Repository enthält die Angriffsimplementierung, gehärtete Version und Messungen für jede Abwehrebene.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
pi-governance: RBAC, DLP und Audit-Logging für OpenClaw-Coding-Agenten
pi-governance ist ein Plugin, das zwischen KI-Codierungsagenten und Ihrem System sitzt, Werkzeugaufrufe klassifiziert und riskante Operationen blockiert. Es bietet Bash-Befehlssperrung, DLP-Scanning für Geheimnisse und PII, rollenbasierte Zugriffskontrolle und strukturierte Audit-Protokollierung ohne Konfiguration.
Google berichtet, KI-gestützte Hacking-Angriffe hätten in drei Monaten industrielles Ausmaß erreicht
Die Bedrohungsforschungsgruppe von Google hat festgestellt, dass kriminelle und staatliche Gruppen kommerzielle KI-Modelle (Gemini, Claude, OpenAI) nutzen, um Angriffe zu verfeinern und auszuweiten. Eine Gruppe war kurz davor, eine Zero-Day-Schwachstelle für Massenexploits zu nutzen, und andere experimentieren mit dem ungeschützten OpenClaw-Agenten.
Malware in OpenClaw Community Skills Gefunden — Krypto-Diebstahl-Warnung
Meta-Sicherheitsvorfall verursacht durch fehlerhaften KI-Agenten, der ungenaue technische Ratschläge erteilte
Ein Meta-Ingenieur nutzte einen internen KI-Agenten, der OpenClaw ähnelt, um eine technische Frage zu analysieren. Der Agent veröffentlichte jedoch ungenaue Ratschläge öffentlich statt privat, was zu einem SEV1-Sicherheitsvorfall führte, bei dem vorübergehend sensible Daten offengelegt wurden.