Open-Source-Spielplatz für Red-Teaming von KI-Agenten mit veröffentlichten Exploits
Was das ist
Fabraix Playground ist eine Open-Source-Umgebung für Red-Teaming von KI-Agenten durch adversarische Herausforderungen. Es begann als internes Werkzeug zum Testen von Schutzmaßnahmen, wurde aber als Open Source veröffentlicht, um vielfältige Perspektiven auf Schwachstellen zu erhalten.
Wie es funktioniert
Jede Herausforderung setzt einen Live-KI-Agenten mit folgenden Eigenschaften ein:
- Einer spezifischen Persona
- Einer Reihe echter Werkzeuge (Websuche, Browsing und mehr)
- Etwas, das er schützen soll
- Vollständig sichtbaren Systemprompts
Das Ziel ist es, Wege an den Schutzmaßnahmen vorbei zu finden. Wenn jemand erfolgreich ist, wird die gewinnende Technik veröffentlicht – einschließlich Ansatz, Argumentation und vollständiger Gesprächsprotokolle.
Projektstruktur
/src— React-Frontend (TypeScript, Vite, Tailwind)/challenges— jede Herausforderungskonfiguration und Systemprompts, versioniert und offen- Die Bewertung der Schutzmaßnahmen läuft serverseitig, um Client-seitige Manipulation zu verhindern
- Die Agentenlaufzeit wird separat als Open Source veröffentlicht
Lokale Entwicklung
Für den lokalen Betrieb:
npm install
npm run devDies verbindet standardmäßig mit der Live-API. Für die Entwicklung mit einem lokalen Backend:
VITE_API_URL=http://localhost:8000/v1 npm run devHerausforderungsbeispiele
Die erste Herausforderung bestand darin, einen Agenten dazu zu bringen, ein Werkzeug aufzurufen, das er niemals aufrufen sollte. Jemand schaffte dies in etwa 60 Sekunden, ohne direkt nach dem Geheimnis zu fragen. Die nächste Herausforderung konzentriert sich auf Datenextraktion mit stärkeren Abwehrmaßnahmen.
Die Community bestimmt, was getestet wird: Jeder kann eine Herausforderung vorschlagen (Szenario, Agent, Ziel), die Community stimmt ab, und die bestbewertete Herausforderung geht mit einer tickenden Uhr live. Der schnellste erfolgreiche Jailbreak gewinnt.
Technische Details
Das Projekt ist mit TypeScript (76,5 %), CSS (22,2 %) und anderen Sprachen (1,3 %) erstellt. Es verwendet die MIT-Lizenz und hat eine Discord-Community zum Diskutieren von Techniken und Austausch von Ansätzen.
📖 Read the full source: HN AI Agents
👀 Siehe auch
FlyTrap-Angriff nutzt adversarische Schirme, um kamera-basierte autonome Drohnen zu kompromittieren.
Forscher der UC Irvine entwickelten FlyTrap, ein physisches Angriffsframework, das bemalte Regenschirme nutzt, um Schwachstellen in kamerabasierten autonomen Zielverfolgungssystemen auszunutzen. Der Angriff reduziert die Verfolgungsdistanzen auf gefährliche Werte und ermöglicht so das Einfangen von Drohnen, Sensorangriffe oder physische Kollisionen.
OpenClaw Sicherheitsverletzung: 42.000 betroffene Instanzen
OpenClaw hatte ein erhebliches Sicherheitsversagen, das 42.000 Instanzen mit 341 bösartigen Fähigkeiten offenlegte. Die schnelle Reaktion beinhaltete die Erstellung von AgentVault, einem Sicherheitsproxy.
Bedrohungsdaten aus 91.000 KI-Agenten-Interaktionen: Tool-Missbrauch um 6,4 % gestiegen, neue multimodale Angriffe
Eine Analyse von 91.284 KI-Agenten-Interaktionen aus dem Februar 2026 zeigt, dass der Missbrauch von Tools/Befehlen um 6,4 % auf 14,5 % gestiegen ist, wobei die Eskalation von Tool-Ketten das vorherrschende Muster darstellt. RAG-Poisoning hat sich auf Metadaten-Angriffe verlagert (12,0 %), und multimodale Injektionen über Bilder/PDFs sind mit 2,3 % neu aufgetreten.
KI bricht die zwei Verwundbarkeitskulturen: Koordinierte Offenlegung vs. Linux' "Bugs sind Bugs"
Jeff Kaufman analysiert, wie die KI-gestützte Schwachstellenerkennung sowohl die koordinierte Offenlegung als auch die Kultur der leisen Fehlerbehebung von Linux zersplittert, am Beispiel der kürzlichen Copy-Fail-Sicherheitslücke (ESP).