100GB未満のオープンウェイトモデルは、コーディングベンチマークでClaude Haikuに勝てません。

最近のオープンウェイト言語モデルの分析によると、コーディングベンチマークにおいてAnthropicのClaude Haikuと比較して大きな性能差があることが明らかになりました。この比較は特定のテストパラメータとメモリ要件を用いて実施されました。

ベンチマーク手法

評価では、LiveBench（2026年1月）とArena Code/WebDevという2つのコーディングベンチマークでモデルを比較しました。テストは思考機能を有効にしたClaude Haiku 4.5に対して実施されました。モデルはローカルデプロイメントに必要なメモリ要件に応じてプロットされました。

技術仕様

• 量子化：Q4_K_M
• コンテキスト長：32K
• KVキャッシュ：q8_0
• VRAM推定：著者のカスタム計算機を使用して算出

主な発見

100GB未満のメモリを必要とするオープンウェイトモデルでは、いずれのベンチマークでもClaude Haikuの性能に近づくものはありませんでした。最も近い競合モデルはMinimax M2.5で、約136GBのメモリを必要とし、両ベンチマークでHaikuの性能とほぼ同等でした。

この分析は、コーディングタスクにおける100GB未満カテゴリーでのプロプライエタリモデルとオープンウェイトモデルの間の現在のギャップを浮き彫りにしています。著者はこの制限に不満を表明し、少なくともHaikuの能力に匹敵する小型モデルの開発を求めています。