ベンチマークによると、蒸留モデルは構造化タスクにおいて最先端LLMと同等の性能を10分の1のコストで達成しています

✍️ OpenClawRadar📅 公開日: March 7, 2026🔗 Source
ベンチマークによると、蒸留モデルは構造化タスクにおいて最先端LLMと同等の性能を10分の1のコストで達成しています
Ad

ベンチマーク結果:蒸留モデル vs 最先端モデル

研究者は、分類、関数呼び出し、QA、オープンブックQAタスクをカバーする9つのデータセットで、小型蒸留モデルと最先端LLMの包括的比較を実施。すべての蒸留モデルはQwen3ファミリー(0.6Bから8B)で、わずか50例のデータを使用し、最先端API出力なしのオープンウェイト教師モデルで学習。

主要な性能発見

  • 蒸留モデルは9タスク中6タスクで最良の中堅最先端モデル(<$1/MTok入力)に匹敵または上回り、7つ目では実質的に同性能
  • Text2SQL:Qwen3-4B蒸留は98.0% vs Claude Haiku 98.7%、GPT-5 nano 96.0%を$3/Mリクエスト vs $378および$24で達成
  • スマートホーム(関数呼び出し):Qwen3-0.6Bは98.7% vs Gemini Flashの92.0%
  • HotpotQA:蒸留モデルは92.0% vs Haikuの98.0% - 世界知識を用いた自由回答推論は依然として最先端領域
  • 分類タスク(Banking77、E-commerce、TREC):蒸留モデルは最良の最先端オプションと0-1.5ポイント差

推論性能

モデルは単一H100上のvLLMで提供され、Text2SQL 4Bモデルの性能は以下:

  • 222 RPS持続
  • p50:390ms、p95:640ms、p99:870ms
  • 7.6 GiB VRAM(BF16、量子化なし)
  • FP8は+15%スループット、-44%メモリ、簡易実験で精度低下なし

方法論

  • すべてのモデルで同一テストセット、同一プロンプト、同一評価基準
  • 最先端モデルはデータセットごとに3回実行(平均±標準偏差報告)、蒸留モデルはtemp=0
  • 評価:分類は完全一致、関数呼び出しはtool_call_equivalence(デフォルトパラメータ正規化によるJSON比較)、生成はClaude Sonnet 4.6をLLM-as-a-judgeとして使用
  • コスト:最先端 = 測定APIトークン使用量 × 公開価格(2026年2月)。蒸留 = H100 $2.40/時間 ÷ 測定持続RPS
Ad

実用的な推奨事項

  • 蒸留モデル:構造化タスク、明確なスキーマ、高ボリューム、データ主権要件
  • 最先端API:広範な世界知識、自由形式生成、低ボリューム
  • 最適設定:両者間でのルーティング

利用可能なリソース

すべてのコード、モデル、データ、評価スクリプトはオープンソースでhttps://github.com/distil-labs/inference-efficiency-benchmarks/

チャートとデータセット別詳細を含む完全なブログ記事:https://www.distillabs.ai/blog/the-10x-inference-tax-you-dont-have-to-pay

📖 完全なソースを読む: r/LocalLLaMA

Ad

👀 See Also

AIメモ作成に同意しない新規患者を受け入れないメルボルンの精神科医
News

AIメモ作成に同意しない新規患者を受け入れないメルボルンの精神科医

メルボルンの精神科医が新規患者に対し、セッションのAI文字起こしに同意するか、他の医療機関を紹介されるかを求めるようになり、データセキュリティと正確性への懸念が生じている。

OpenClawRadar
国防総省とAI企業アンソロピックの間で緊張が高まる
News

国防総省とAI企業アンソロピックの間で緊張が高まる

ペンタゴンがベネズエラでの襲撃など機密作戦にAnthropicのAIを利用したことで、同社のAI安全方針をめぐる緊張が生じている。

OpenClawRadar
OpenClaw 2026.2.6-3とOpenRouter統合の問題のナビゲーション
News

OpenClaw 2026.2.6-3とOpenRouter統合の問題のナビゲーション

OpenClaw 2026.2.6-3とOpenRouterを組み合わせて使用しているユーザーは、持続的な「401 User not found」エラーに直面しています。コミュニティの議論に参加して、解決策を探り、トラブルシューティングのヒントを共有しましょう。

OpenClawRadar
GPUの電力消費は、小型LLMにおいてトークン予測理論から逸脱する
News

GPUの電力消費は、小型LLMにおいてトークン予測理論から逸脱する

4つの80億パラメータモデルを用いた『確率的オウム』理論の実験では、GPUの電力消費量がトークン数に対して非線形にスケールすることが多く、乖離率は7.7%から36.7%の範囲であることが判明しました。この研究では、哲学的なクエリの後に持続的な残留熱が生じることや、順序依存効果も明らかになりました。

OpenClawRadar