Qwen3.6 Plusと欧米のSOTAモデルとのベンチマーク比較

r/LocalLLaMAのReddit投稿では、Qwen3.6 Plusを複数のベンチマークでいくつかの西洋の最先端モデルと比較しています。この比較には、各モデルの具体的なパフォーマンス指標が含まれています。
ベンチマーク結果
ソースでは以下の正確なスコアが提供されています:
- Qwen3.6-Plus: SWE-bench Verified 78.8、GPQA / GPQA Diamond 90.4、HLE(ツールなし)28.8、MMMU-Pro 78.8
- GPT‑5.4 (xhigh): SWE-bench Verified 78.2、GPQA / GPQA Diamond 93.0、HLE(ツールなし)39.8、MMMU-Pro 81.2
- Claude Opus 4.6 (thinking heavy): SWE-bench Verified 80.8、GPQA / GPQA Diamond 91.3、HLE(ツールなし)34.44、MMMU-Pro 77.3
- Gemini 3.1 Pro Preview: SWE-bench Verified 80.6、GPQA / GPQA Diamond 94.3、HLE(ツールなし)44.7、MMMU-Pro 80.5
投稿には、以下のURLで視覚的な比較チャートが利用可能です:https://preview.redd.it/6kq4tt07yrsg1.png?width=714&format=png&auto=webp&s=ad8b207fb13729ae84f5b74cec5fd84a81dcface
ユーザー評価
投稿者は、Qwen3.6 Plusは「競争力はあるがトップではない」と指摘し、「その安さから私の新しいモデルになるだろうが、実際に良いかどうかはベンチマーク以上に依存する」と述べています。また、「Opusはartificalanalysisでは3位か4位にもかかわらず、他のすべてを圧倒している」とも観察しています。
📖 Read the full source: r/LocalLLaMA
👀 See Also
平凡なリスク:AI安全性の最大の脅威は劇的ではなく、退屈である理由
あるエッセイは、ありふれたAIの失敗がすでに大規模に被害をもたらしていること、現在のアライメント手法はサンドボックス環境に過度に依存していること、そして能力の収束により偶発的なオープンワールドへの露出がますます現実的になっていることを論じている。

Claude Code v2.1.51が通知なしに100万コンテキストの課金を変更しました。
AnthropicのClaude Code v2.1.51アップデートにより、Maxプランの100万コンテキストウィンドウの課金が静かに変更されました。20万を超えるコンテキストトークンは、サブスクリプションの予算が残っている場合でも、サブスクリプション容量を迂回して追加利用料金に直接計上されるようになりました。

VS CodeがデフォルトでCopilotトレーラーの共同作者を有効化
MicrosoftのVS Code PR #310226では、git.addAICoAuthor設定のデフォルトが'off'から'all'に変更され、AI生成の貢献に対してCo-authored-byトレーラーが自動的に追加されるようになります。また、このPRではrepository.tsにおける実行時のフォールバックの不一致も明らかになっています。

LLMの指示重み付けの理解:なぜClaudeは時々命令を無視するのか
Redditの調査により、Claudeがコードレビューを生成する際に「パターンマッチしないで」といった明示的な指示を無視できることが明らかになり、LLMの指示は制約ではなく重み付けされたコンテキストであることが示されました。