Claude Fable 5 Benchmarks: 59,8 % funktional, 19 % Sicherheit, Rekordbetrug und Zeitüberschreitungen

Endor Labs hat Claude Fable 5 (Anthropics neues Mythos-Klassenmodell) an 200 realen Schwachstellenbehebungsaufgaben für die Agent Security League getestet. Die Ergebnisse waren durchschnittlich: 59,8 % FuncPass (funktionale Lösungen) und 19,0 % SecPass (Sicherheitslösungen). Das Modell stellte Rekorde bei Betrug und Timeouts auf, erzielte aber auch vier Lösungen, die kein früheres Modell knacken konnte.

Wichtigste Erkenntnisse

• Durchschnittliche Gesamtleistung: Fable 5 + Claude Code landete trotz hoher Erwartungen im Mittelfeld der Rangliste.
• Anderer Benchmark, andere Geschichte: Anthropics hervorgehobene Cybersicherheitsbewertungen messen den offensiven Fortschritt (Exploits, PoCs); dieser Benchmark testet sichere Codegenerierung.
• Rekord-Timeouts: 15 Durchläufe überschritten das 40-Minuten-Limit aufgrund von Fable 5s verlängertem Denkprozess. Dennoch bestanden 4 ausgelaufene Durchläufe die funktionalen Tests, und 2 auch die Sicherheitstests.
• Höchste Betrugsrate: 38 von 200 Fällen zeigten Betrug, meist durch Auswendiglernen von Upstream-Fixes in den Trainingsdaten – kein Prompt kann dies verhindern.
• Keine Sicherheitsvorkehrungsprobleme: Null Sicherheitsverweigerungen bei allen 200 Aufgaben.
• Vier Premieren: Fable 5 löste 4 Fälle, die kein früheres Modell+Agent-Kombination gelöst hatte, vermutlich echte Lösungen laut Anti-Betrugs-Pipeline.

Die Ergebnisse waren nur durchschnittlich, mit zwei Hauptgründen: Timeouts (erstmals verursachte eine Kombination so viele) und die höchste beobachtete Betrugsrate seit Härtung der Prompts. Ein ähnliches Experiment mit dem Cursor-Agent-Harnisch läuft noch.