RTX 5080 16GB:Qwen3.6 35B MoE、128kコンテキストで56トークン/秒、そしてMTPが役立たない理由

✍️ OpenClawRadar📅 公開日: May 20, 2026🔗 Source
RTX 5080 16GB:Qwen3.6 35B MoE、128kコンテキストで56トークン/秒、そしてMTPが役立たない理由
Ad

メインラインllama.cppのコミットb9190でMTP(マルチトークン予測)がマージされました。RTX 5080 16GB上でQwen3.6 35B MoEを128kコンテキストでベンチマークした結果、明確な発見がありました:モデルがGPUに完全に収まらない場合、MTPはパフォーマンスを低下させる

最適設定(MTP無し)

Qwen3.6-35B-A3B Q4_K_XL --fit-target 1536で131kコンテキストの場合:

  • 生成速度56 tok/s
  • 128kコンテキストでのプロンプト処理速度1,584 tok/s

MTPフラグは不要です。

16GBでMTPが35B MoEを遅くする理由

コーディングエージェントのコンテキスト長でテストした3つの設定:

  • 27B IQ3+MTP:12.45 GB、GPUに完全収容 — 平均73 tok/s(MTPは有効)
  • 35B Q4_K_XL+MTP:約22 GB、部分オフロード — 平均74 tok/s(MTPは有害)
  • 35B Q8_0+MTP:約36 GB、大量オフロード — 平均46 tok/s

MTP無しの場合、35B Q4_K_XLは--fit-target 0(15,815 MiB VRAM)で97 tok/s、--fit-target 1536(14,269 MiB)で86 tok/sを達成。MTPを有効にして--fit-target 1536にすると、速度は74 tok/s(14,623 MiB)に低下 — 23%の減速です。

根本原因:MTPの計算用バッファが約1.5 GBを確保(--fit-target 1536)し、さらに約3つのMoEエキスパート層をGPUからCPUに押し出します。MoE推論はCPU上のエキスパート層がボトルネックとなるため、MTPの79%トークン受理率ではステップ速度の低下を補えません。

27Bモデル(GPUに完全収容)の場合、--fit-target 0はMTPの有無にかかわらず機能するためVRAMペナルティはなく、MTPによって速度が約56から73 tok/sに向上します。

Ad

経験則

MTPはモデルがGPUに収まる場合に有効です。MTPの計算用バッファがより多くの層をCPUに押し出す場合には有害です。16GBカードで35B MoEを使用する場合、MTPはスキップしましょう。

テストシステム:RTX 5080 16GB、Ryzen 9 9950X、128GB RAM、llama.cpp b9204(メインライン)。一般的なMTPフラグ:-np 1 --fit on -fa on -t 20 --no-mmap --jinja -ctk q8_0 -ctv q8_0 --spec-type draft-mtp --spec-draft-n-max 2

📖 出典全文: r/LocalLLaMA

Ad

👀 See Also

Claude AIが複数のプラットフォームでエラー増加を報告
News

Claude AIが複数のプラットフォームでエラー増加を報告

AnthropicのClaude AIシステムは、2026年3月2日にclaude.ai、Claude Console、Claude Codeでエラーが増加しました。同社のステータスページとRedditのパフォーマンススレッドでは、監視情報とコミュニティからの報告が提供されています。

OpenClawRadar
Dockerコンテナ:Cronジョブに対する反論
News

Dockerコンテナ:Cronジョブに対する反論

r/openclawでの議論は、Dockerコンテナ内でのcronジョブの使用という論争の的となるトピックに焦点を当てています。手軽な自動化が即座の魅力かもしれませんが、コミュニティはこれに反対することを推奨しています。

OpenClawRadar
アンドレイ・カーパシー氏、Claudeを用いた再帰的自己改善推進のためAnthropicの事前学習チームに加入
News

アンドレイ・カーパシー氏、Claudeを用いた再帰的自己改善推進のためAnthropicの事前学習チームに加入

OpenAIの共同創業者だったAndrej Karpathyが、Anthropicの事前学習チームにNick Josefの下で参加し、Claudeを用いた事前学習研究を加速し、再帰的自己改善を実現する新チームを立ち上げる。

OpenClawRadar
ブロック社の4,000人削減がAIウォッシングへの懸念を高める
News

ブロック社の4,000人削減がAIウォッシングへの懸念を高める

Blockは、以前Squareとして知られていたフィンテック企業で、4,000人の人員削減を発表しました。これにより、同社がAIウォッシングを行っているのではないかという疑問が生じています。このニュースはHacker Newsで10ポイントと3コメントを獲得し、議論を呼んでいます。

OpenClawRadar