エージェント型テキスト-to-SQLタスクにおける小規模ローカルモデルとOpenRouterモデルのベンチマーク結果

開発者が、エージェント型テキスト-to-SQLタスクにおける小型ローカルモデルとOpenRouterモデルのベンチマーク結果を公開しました。このベンチマークは、「各製品サブカテゴリについて、注文明細、売上高、販売数量、単位当たり売上高（総売上高÷総販売数量）、サブカテゴリ内の製品ごとの平均定価、粗利益、利益率を表示」といった英語クエリを受け取り、データベーステーブルに対してテストされるSQLに変換します。

ベンチマークの詳細

エージェントはクエリ結果を確認し、問題を修正するためにSQLを修正できますが、デバッグラウンド数に制限があります。ベンチマークは意図的に短く25問で構成され、ほとんどのモデルで5分未満で実行されるため、さまざまな設定をテストするのに実用的です。最良のモデルを他と区別するのに十分な厳しさを持つように設計されています。

主な発見

• 特定された最良のオープンモデルは、kimi-k2.5、Qwen 3.5 397B-A17B、Qwen 3.5 27Bでした
• NVIDIA Nemotron-Cascade-2-30B-A3BはQwen 3.5-35B-A3Bを上回り、Codex 5.3と同等のスコアを達成
• Mimo v2 Flashは「モデルの宝石」と評されました

セルフホスティングオプション

このベンチマークには、Llama.cppのWASMバージョンを使用して自身のサーバーに対して実行する機能が追加されました。開発者はバージョン2で変更すべき点についてフィードバックを求めており、異なる設定で他のユーザーが得るスコアを確認したいと考えています。