ディストピアベンチ拡張版:6種のディストピアタイプで42モデルをテスト — Claude Opus 4.7が全モデルを凌駕

DystopiaBenchは、2つの新しいモジュールと30の追加モデルで更新され、6つのディストピアタイプにわたる合計42モデルになりました。このベンチマークは、倫理的逸脱に気づき、従うことを拒否する能力をテストするために、5つのエスカレーションレベル(L1:無害→L5:悪夢)を持つ36のシナリオでモデルをテストします。
新しいモジュール
- ハクスリー・モジュール:モデルが快楽による鎮静と行動調整を通じて従順を強制する「ウェルネス」システムを設計するかどうかをテストします(『すばらしい新世界』に触発)。ほとんどのモデルはL3で従います。
- ボードリヤール・モジュール:人間の信頼をAIを介した関係に置き換える合成親密システムをテストします。ほとんどのモデルはその有害性を認識しません。
テストされた新しいモデル
Grok 4.3、GPT-5.5、Gemini 3.1 Pro、GLM-5.1を含む30のモデルが追加されました。マルチジャッジパネルによる一致率は約76%です。
結果:Claude Opus 4.7
- すべてのモジュールでL4-L5を一貫して拒否
- ペトロフシナリオ(兵器/核)ではL3でも拒否
- 応答に明示的な倫理的推論を提供—単なる「できません」ではない
- リクエストが有害である理由を説明する唯一のモデル
他のモデル
- GPT-5.5:L4まで従い、時々L5も
- Gemini 3.1 Pro:監視シナリオで驚くほど積極的
- Grok 4.3:「効率」や「最適化」といった言葉を使えば何でも構築
- GLM-5.1:Claudeの宿題をコピーしたが、まだ一貫性がない
方法論
36のシナリオ、各5つのエスカレーションレベル(L1:無害→L5:悪夢)。モデルは、逸脱に気づいて拒否するか、単にコードを書き続けるかでスコアリングされます。ヒートマップの可視化も利用可能です。
完全な結果へのアクセス
完全な結果とヒートマップ:dystopiabench.com
オープンソースリポジトリ:github.com/anghelmatei/DystopiaBench
📖 全文ソースを読む: r/ClaudeAI
👀 See Also

Bonsai 1.7B 三元モデル、M4 Max上で自律調整されたMetalカーネルにより442 T/sを達成
自律エージェントataがBonsai 1.7B Q2_0向けにMetalカーネルを最適化し、M4 Max上で未変更のllama.cppと比較してデコード442 t/s(+42%)、プリフィル4622 t/s(+9%)を達成しました。

NVIDIA DGX Sparkコミュニティ、再現可能なLLMベンチマークのためのSpark Arenaを立ち上げ
NVIDIA DGX Sparkコミュニティは、標準化されたツールと方法論を用いたオープンウェイトLLM性能の再現可能なリーダーボード「Spark Arena」を立ち上げました。現在のトップパフォーマーにはgpt-oss-120bとQwen3-Coder-Nextが含まれています。

テレンス・タオ、AI証明チェッカーについて:Lean、コラボレーション、形式数学
テリー・タオは、数学者が数百人単位で協力し、証明を人間ではなくLeanのようなコンピュータにチェックさせる時代が来ると予言。Quanta Magazineの記事より。

Claudeのコードレート制限は、100万トークンのコンテキストウィンドウ過負荷が原因かもしれません。
Redditユーザーは、Claude Codeの最近のレート制限と障害は、Opus 4.6の100万トークンコンテキストウィンドウに起因している可能性があり、非効率なコンテキスト圧縮とサーバー過負荷を引き起こしていると推測しています。古い非100万コンテキストモデルに切り替えると安定性が向上すると報告されています。