Qwen 3.6-35B-A3B KVキャッシュベンチ:M5 Max上のf16対q8_0対Turbo3対Turbo4、最大1Mコンテキスト

✍️ OpenClawRadar📅 公開日: April 28, 2026🔗 Source
Qwen 3.6-35B-A3B KVキャッシュベンチ:M5 Max上のf16対q8_0対Turbo3対Turbo4、最大1Mコンテキスト
Ad

Redditユーザーが、128GBユニファイドメモリを搭載したMacBook Pro M5 Max上で、llama.cppのTheTomのTurboQuant Metalフォーク(GitHub: TheTom/llama-cpp-turboquant、ブランチfeature/turboquant-kv-cache)を使用し、Qwen 3.6-35B-A3B Q8の深度スイープを実行しました。0から100万トークンのコンテキストで、4種類のKVキャッシュタイプ(f16、q8_0、turbo3(3ビット)、turbo4(4ビット)、対称K/V、flash-attnオン、mlockオン)をテストしました。

ハードウェアとビルド

M5 Max、128GBユニファイドメモリ。cmake -B build -DGGML_METAL=ONでビルド。llama-benchを使用、セルあたり3回の試行、flash-attnオン、mlockオン。ウォールクロックで一晩8時間。

生成スループット(tok/s)

深度f16q8_0turbo3turbo4
089.487.479.579.7
8K84.279.272.271.2
32K72.667.861.561.8
128K44.440.736.037.7
256KOOM26.622.925.5
512KOOMOOM13.316.0
1MOOMOOM6.5OOM
Ad

プロンプト処理スループット(tok/s)

深度f16q8_0turbo3turbo4
02962294829042854
8K2098162316531439
32K1063802784678
128K321245253206
256KOOM124128101
512KOOMOOM6656
1MOOMOOM30OOM

主なポイント

  • 深度0では、f16がプリフィルでわずかにリード、turbo3はデコードで約10%低速。
  • 128Kでは、turbo3のプリフィル(253 tok/s)はq8_0(245 tok/s)と同等。キャッシュが小さいため帯域幅の負荷が軽減。
  • 256Kでは、turbo3がプリフィルでturbo4より27%高速(128 vs 101)だが、デコードではturbo4が11%高速(25.5 vs 22.9)。512Kではデコードの差が20%に拡大(turbo4 16.0 vs turbo3 13.3)。
  • turbo3のみが1Mコンテキストに適合(デコード6.5 tok/s)。1M時のメモリ:約89GB(重み37GB、KVキャッシュ約52GB)。

ワークロードの推奨

  • コーディングエージェント(深いコンテキスト、多くの生成トークン):turbo4
  • RAG / バッチQA(重いプリフィル、短い回答):turbo3
  • 1Mコンテキスト:turbo3のみ
  • 短いインタラクティブ(32K未満):f16(収まれば)、それ以外はq8_0

注意点

これは1台のM5 Maxでの結果。クロスオーバーポイントはメモリ帯域幅やGPUコア数によって変化する可能性があります。対称K/Vのみテスト。非対称の組み合わせ(例:-ctk q8_0 -ctv turbo4)は未ベンチ。TheTomのフォークは研究段階であり、llama.cppメインには取り込まれていません。

📖 出典全文: r/LocalLLaMA

Ad

👀 See Also

OpenClawの頻繁な互換性破壊変更:更新手順と現在の問題
News

OpenClawの頻繁な互換性破壊変更:更新手順と現在の問題

OpenClawは2026年3月だけで13回のポイントバージョンをリリースし、破壊的変更が2〜3週間ごとに発生しています。ソースには具体的な更新手順と、バージョン3.28における現在の問題(localhost認証の変更やリグレッションバグなど)の詳細が記載されています。

OpenClawRadar
流出したクロードコードが明らかにするKAIROSシステムとAIエージェントの検証ギャップ
News

流出したクロードコードが明らかにするKAIROSシステムとAIエージェントの検証ギャップ

流出したClaude Codeのソースマップから、512K行のTypeScript、44個の機能フラグ、そしてKAIROSというアイドル時間中にメモリを統合するバックグラウンドエージェントが明らかになりました。独立系開発者がマルチデイキャンペーン用にセッションを連鎖させる類似のデーモンを構築しましたが、コンパイル成功が機能するコードを保証しないことを発見しました。

OpenClawRadar
Anthropic、1億ドルの投資でClaudeパートナーネットワークを立ち上げ
News

Anthropic、1億ドルの投資でClaudeパートナーネットワークを立ち上げ

アンソロピックは、2026年までに初期投資1億ドルを投じてClaudeパートナーネットワークを立ち上げ、企業がClaudeを導入するのを支援する組織に対してトレーニング、技術サポート、共同市場開発を提供します。パートナーは技術認定、トレーニング教材を備えたパートナーポータルへのアクセス、レガシーコード移行のためのコード近代化スターターキットを利用できます。

OpenClawRadar
アンソピック社のクラウド、調査の代替として8万件の構造化インタビューを実施
News

アンソピック社のクラウド、調査の代替として8万件の構造化インタビューを実施

Anthropicは、Claudeを使用して150カ国以上、70言語以上にわたる約80,000人のユーザーに対して構造化インタビューを実施する実験を行いました。LLMをインタビュアーとアナリストの両方として機能させ、会話形式のデータ収集アプローチを採用しました。

OpenClawRadar