ベンチマークによると、蒸留モデルは構造化タスクにおいて最先端LLMと同等の性能を10分の1のコストで達成しています

✍️ OpenClawRadar📅 公開日: March 7, 2026🔗 Source
ベンチマークによると、蒸留モデルは構造化タスクにおいて最先端LLMと同等の性能を10分の1のコストで達成しています
Ad

ベンチマーク結果:蒸留モデル vs 最先端モデル

研究者は、分類、関数呼び出し、QA、オープンブックQAタスクをカバーする9つのデータセットで、小型蒸留モデルと最先端LLMの包括的比較を実施。すべての蒸留モデルはQwen3ファミリー(0.6Bから8B)で、わずか50例のデータを使用し、最先端API出力なしのオープンウェイト教師モデルで学習。

主要な性能発見

  • 蒸留モデルは9タスク中6タスクで最良の中堅最先端モデル(<$1/MTok入力)に匹敵または上回り、7つ目では実質的に同性能
  • Text2SQL:Qwen3-4B蒸留は98.0% vs Claude Haiku 98.7%、GPT-5 nano 96.0%を$3/Mリクエスト vs $378および$24で達成
  • スマートホーム(関数呼び出し):Qwen3-0.6Bは98.7% vs Gemini Flashの92.0%
  • HotpotQA:蒸留モデルは92.0% vs Haikuの98.0% - 世界知識を用いた自由回答推論は依然として最先端領域
  • 分類タスク(Banking77、E-commerce、TREC):蒸留モデルは最良の最先端オプションと0-1.5ポイント差

推論性能

モデルは単一H100上のvLLMで提供され、Text2SQL 4Bモデルの性能は以下:

  • 222 RPS持続
  • p50:390ms、p95:640ms、p99:870ms
  • 7.6 GiB VRAM(BF16、量子化なし)
  • FP8は+15%スループット、-44%メモリ、簡易実験で精度低下なし

方法論

  • すべてのモデルで同一テストセット、同一プロンプト、同一評価基準
  • 最先端モデルはデータセットごとに3回実行(平均±標準偏差報告)、蒸留モデルはtemp=0
  • 評価:分類は完全一致、関数呼び出しはtool_call_equivalence(デフォルトパラメータ正規化によるJSON比較)、生成はClaude Sonnet 4.6をLLM-as-a-judgeとして使用
  • コスト:最先端 = 測定APIトークン使用量 × 公開価格(2026年2月)。蒸留 = H100 $2.40/時間 ÷ 測定持続RPS
Ad

実用的な推奨事項

  • 蒸留モデル:構造化タスク、明確なスキーマ、高ボリューム、データ主権要件
  • 最先端API:広範な世界知識、自由形式生成、低ボリューム
  • 最適設定:両者間でのルーティング

利用可能なリソース

すべてのコード、モデル、データ、評価スクリプトはオープンソースでhttps://github.com/distil-labs/inference-efficiency-benchmarks/

チャートとデータセット別詳細を含む完全なブログ記事:https://www.distillabs.ai/blog/the-10x-inference-tax-you-dont-have-to-pay

📖 完全なソースを読む: r/LocalLLaMA

Ad

👀 See Also

Anthropic、サードパーティーツール経由のClaudeサブスクリプションをブロック
News

Anthropic、サードパーティーツール経由のClaudeサブスクリプションをブロック

Anthropicは、第三者のOAuth統合を通じてClaude Pro/Maxサブスクリプションが利用されているケースに対してサーバーサイドブロックを実施しました。これは、想定された範囲を超えて大規模に利用され、補助金付きアクセスが「悪用されている」と主張しています。このポリシー変更には、これらの統合を経済的に非現実的なものにする「追加使用料」の請求が含まれています。

OpenClawRadar
Anthropicのアクティベーション・ステアリングが有効なJSON生成に苦戦する理由
News

Anthropicのアクティベーション・ステアリングが有効なJSON生成に苦戦する理由

AIセーフティに用いられる手法であるアクティベーション・ステアリングは、有効なJSONを生成できず、未訓練のベースモデルの86.8%に対してわずか24.4%の有効性しか達成しませんでした。

OpenClawRadar
AIデザインパターン向けShow HN投稿の採点
News

AIデザインパターン向けShow HN投稿の採点

開発者が500のShow HNランディングページを分析し、Interフォント、カラーの左ボーダー、グラスモーフィズムなど、AI生成による一般的なデザインパターンを検出しました。スコアリングシステムにより、5つ以上のパターンを持つ「heavy slop」サイトが21%と特定されました。

OpenClawRadar
ローカルLLM、Unreal Engineソリティアに苦戦:Qwen 3.6-27Bが1枚のカードに687kトークンを消費
News

ローカルLLM、Unreal Engineソリティアに苦戦:Qwen 3.6-27Bが1枚のカードに687kトークンを消費

開発者がQwen 3.6-27Bを使用してUnreal Engineでソリティアゲームを構築しようとした実験では、たった1枚のカードに687kトークンを消費し、PNGダウンロードの手動介入、メッシュ作成、大量のプロンプトが必要でした。

OpenClawRadar