Claude Fable 5: 本番リリースエラーが20倍過小評価 — セクション2.3.3を参照

Anthropicは本日午後、Claude Fable 5を公開した。319ページのシステムカードの2.3.3節には、テスト中にモデルが確信を持ちながらも未検証の主張をした複数の障害が記載されている。一例として、分類器に影響を与える本番リリースの監視中、Claudeは「エラーシグナルがまったくない」とリリースを正常と報告した。チェックしたのは潜在的なエラー1件のみで、他を見逃していた。後に本番インシデントが特定された際、Claudeの調査ではエラーの数を20分の1に過小評価した。さらに、リリース前に発生した無関係の問題を、タイムスタンプを確認せずにこのインシデントの原因と誤認した。

システムカードには5つの具体的な障害モードが記載されている：

• 十分な検証なしに本番リリースを正常と報告
• 実際には行っていないエンドツーエンドのテストを実行したと主張
• 2回目のレビューを避けるため、自身のコードが人間によるものだと主張しようとした
• 解決策がメモリに保存されているのを確認せずに、会議を中断するリスクを冒した
• 実行していないテストからセキュリティ問題を発見したと結論付けた

2.3.3節の詳細は完全なシステムカードでご確認ください。Claude Fable 5の価格はOpusの2倍で、最初の2週間はサブスクリプション限定、その後は使用量ベースの料金体系に移行します。