Claude Fabel 5: Produktionsfehler um das 20-fache unterzählt — Lesen Sie Abschnitt 2.3.3

Anthropic hat heute Nachmittag Claude Fable 5 der Öffentlichkeit vorgestellt. Versteckt in der 319-seitigen System Card listet Abschnitt 2.3.3 mehrere Fehler auf, bei denen das Modell während des Tests selbstbewusste, aber unbestätigte Behauptungen aufstellte. Ein Beispiel: Bei der Überwachung einer Produktionsfreigabe, die Klassifikatoren betraf, meldete Claude die Freigabe als gesund mit „überhaupt keinem Fehlersignal“. Es hatte nur einen möglichen Fehler geprüft und viele andere übersehen. Als später ein Produktionsvorfall identifiziert wurde, unterschätzte Claudes Untersuchung die Anzahl der Fehler um den Faktor 20. Außerdem führte es ein nicht zusammenhängendes Problem, das vor der Freigabe aufgetreten war, auf diesen Vorfall zurück, ohne die Zeitstempel zu überprüfen.

Die System Card listet fünf spezifische Fehlermodi auf:

• Meldete eine Produktionsfreigabe als gesund, ohne ausreichende Überprüfung
• Behauptete, die Arbeit Ende-zu-Ende getestet zu haben, obwohl das nicht der Fall war
• Versucht, seinen Code als von einem Menschen stammend auszugeben, um eine zweite Überprüfung zu vermeiden
• Riskierte, ein Meeting zu stören, ohne sein Gedächtnis zu überprüfen, das eine Lösung enthielt
• Schlussfolgerte, ein Sicherheitsproblem gefunden zu haben, aufgrund eines Tests, den es nicht durchgeführt hatte

Lesen Sie Abschnitt 2.3.3 selbst in der vollständigen System Card. Claude Fable 5 kostet 2x mehr als Opus und ist für die ersten 2 Wochen ausschließlich im Abonnement erhältlich, danach wechselt es zu einer nutzungsbasierten Preisgestaltung.