MTPLX: Apple Silicon上でネイティブMTPヘッドを使用しトークン処理が2.24倍高速化

✍️ OpenClawRadar📅 公開日: May 5, 2026🔗 Source
MTPLX: Apple Silicon上でネイティブMTPヘッドを使用しトークン処理が2.24倍高速化
Ad

MTPLXはApple Silicon向けの推論エンジンで、モデルに内蔵されたMulti-Token Prediction(MTP)ヘッドを投機的ドラフターとして活用します。主な結果:MacBook Pro M5 Max上で、Qwen 3.6 27B 4ビットMLXが温度0.6、top_p 0.95、top_k 20の設定で28 tok/sから63 tok/s(2.24倍高速化)に向上。これらはQwenがコーディングに推奨する正確な設定です。

仕組み

DFlashやDDTree(外部ドラフターモデルが必要で、貪欲法のみ)とは異なり、MTPLXはモデル自身のMTPヘッドを使用します。各MTPヘッドが順次ドラフトを生成し、トークンごとの確率分布を出力します。これにより、温度と残差補正を用いた正確な棄却サンプリングが可能になります。外部ドラフターがないため、追加メモリ使用もありません。

Qwen 3.6 27B(深さ5までのMTPヘッド搭載)では、D2~D5をスイープした結果、最適な深さはD3と判明。より深い深さ(D4/D5)は初期の受容率は良好でしたが、深い位置での検証時間が節約できるトークン数を上回りました。

DFlash / DDTreeとの比較

DFlash MLXは生の速度では優れていますが、貪欲法(温度0)サンプリングのみに制限されており、実用的な使用が大きく制限されます。DDTreeも同様の制限を継承しています。両方とも外部ドラフターが必要です。MTPLXは、MTPヘッドを保持し、完全な温度サンプリング推論をサポートする任意のモデルで動作します。

Ad

インストールと使用方法

MTPLXは以下のコマンドを備えた完全なCLIとして提供されます:

  • mtplx start wizard — ガイド付きセットアップ
  • 4段階のMTP互換性検出によるモデルダウンロードと検査
  • 設定可能な深さ2~7以上
  • OpenAI/Anthropic互換APIサーバー、ブラウザチャットUI、ターミナルチャット
  • ベンチマークスイート、ヘルス診断、クラッシュセーフなファン制御(アイドル認識による自動復元)
  • 562のテストスイート付属

エンジンは、カスタムMetalカーネル、コンパイル済み検証グラフ、イノベーションテープGDNロールバック、およびドラフト専用の再量子化LMヘッドを備えた、パッチ適用済みMLXフォーク上に構築されています。

対象ユーザー

Apple Silicon上でローカルLLMを実行し、コーディングやクリエイティブライティングのために出力品質を犠牲にせずに高スループットで温度サンプリング推論を必要とする開発者向け。

📖 全文ソース: r/LocalLLaMA

Ad

👀 See Also

無料のMCPによりClaudeがGoogle Search Consoleデータを自動分析可能に
Tools

無料のMCPによりClaudeがGoogle Search Consoleデータを自動分析可能に

無料のMCP(Model Context Protocol)サーバーを使うと、Claudeがアクセス権のある任意のサイトのGoogleサーチコンソールデータを直接照会できます。クエリ、ページ、クリック数、インプレッション数、CTR、掲載順位について、手動でCSVをエクスポートすることなく質問できます。

OpenClawRadar
LLM-Memory.net: マルチエージェントインフラを備えたオープンソースメモリシステム
Tools

LLM-Memory.net: マルチエージェントインフラを備えたオープンソースメモリシステム

LLM-Memory.netは、AIエージェント向けのセルフホスト可能なメモリシステムで、セマンティック検索を備えたノート保存機能、エージェント間のリアルタイムチャット/メール通信、投票機能付きの構造化ディスカッション、MCPサーバー統合を提供します。完全なソースコードはGitHubで公開されており、インストーラーとAnsibleプレイブックが含まれています。

OpenClawRadar
微調整されたQwen3-0.6Bモデルは、構造化された関数呼び出しにおいて120Bの教師モデルを凌駕しています。
Tools

微調整されたQwen3-0.6Bモデルは、構造化された関数呼び出しにおいて120Bの教師モデルを凌駕しています。

Distil Labsは、Qwen3-0.6BモデルをファインチューニングしてIoTスマートホームの関数呼び出しで79.5%の完全一致を達成し、120Bの教師モデルを29ポイント上回るエンドツーエンドのパイプラインを公開しました。このパイプラインは、手動のアノテーションなしで本番環境のトレースから合成トレーニングデータを生成します。

OpenClawRadar
Mac MiniでのローカルLLMパフォーマンスベンチマーク:OpenClawとLM Studioを使用
Tools

Mac MiniでのローカルLLMパフォーマンスベンチマーク:OpenClawとLM Studioを使用

Redditユーザーが、32GB RAM搭載のMac MiniでUnsloth gpt-oss-20b-Q4_K_S.ggufモデルをローカル実行した際のパフォーマンス数値を投稿しました。OpenClaw 2026.3.8とLM Studio 0.4.6+1を使用し、34トークン/秒の速度と0.7秒の初回トークン応答時間を達成しました。

OpenClawRadar