RTX 4070 SuperでQwen 3.6とGemma 4モデルを実行する：12GB VRAMベンチマーク
Redditユーザーが、12GBのRTX 4070 Super（+10% OC）とAMD 9800X3D CPU、64GB DDR5-6000 RAMを搭載したシステムで、複数の大規模MoEモデルを実行する速度ベンチマークを公開しました。ユーザーはVRAM節約のためディスプレイをiGPUにオフロードしており、そうしないと約10%のパフォーマンス低下があると述べています。セットアップはCUDA 13.1と最新のllama.cppを使用し、以下のハードウェア構成です。
n-gpu-layers = 999
threads = 8
threads-batch = 16
batch-size = 4096
ubatch-size = 4096
ctx-size = 65536
flash-attn = true
ベンチマーク結果
ユーザーはVS CodeのClineとKiloCodeを用いて、Unsloth GGUF量子化で4つのモデルをテストしました（ツール呼び出しの問題なし）。すべての測定値はトークン/秒（tgs）と処理/秒（pps）です。
- Qwen3.6-35B-A3B-GGUF Q6_K_XL: 40 tgs, 2100 pps
- Qwen3.6-27B-IQ3_XXS: 16 tgs, 1000 pps
- Gemma 4 26B-A4B-it-UD-Q8: 26 tgs, 2150 pps
- Gemma-4-31B-it-IQ3_XXS: 13-16 tgs, 650 pps
注目すべき構成詳細
ユーザーは個々のモデル構成と特定のチューニングを共有しました。主なハイライト：
- Qwen3.6-35B-A3Bの場合：
n-cpu-moe = 35（35個のMoEエキスパートをCPUにオフロード）、cache-type-k = q8_0、cache-type-v = q8_0、swa-full = true、cache-reuse = 512、コンテキストサイズ131072、推論有効、予算8096。 - Gemma 4 26Bの場合：
n-cpu-moe = 27、コンテキスト102400、fit = on、fit-target = 256、fit-ctx = 32768。 - Gemma 4 31Bの場合：
ngram-modによる投機的デコード（spec-type = ngram-mod）、n-gpu-layers = 58（部分的なGPUオフロード）、cache-type-k = q4_0、no-kv-offload = true。 - すべてのモデルで
flash-attn = true、no-mmproj-offload = true。
ユーザーがWeb開発に好むモデルはQwen3.6-35B-A3Bで、VS Code拡張機能でツール呼び出しの問題がない品質を称賛しています。
📖 ソース全文を読む： r/LocalLLaMA
👀 See Also
アンソピックがClaude AIの無料公式学習プラットフォームをリリース
Anthropicは、Claudeの基礎、API統合、エージェントスキル、および異なるユーザーグループ向けの専門トラックをカバーする構造化コースを備えた無料学習プラットフォームを立ち上げました。
OpenClaw：究極のクイックリファレンス・チートシート
OpenClawの詳細を、便利なリファレンスチートシートで探求しましょう。AIコーディング体験を効率化するための重要な機能と特徴を抽出します。
OpenClawの7つの最適化手法でトークンコストを95%削減
エージェントAIのトークン消費を95％以上削減する7つの手法を詳述した包括的ガイド。ツリー構造のブートファイル、AI自動圧縮、ローカルモデルへのオフロード、cronベースのCPUタスクなどを含む。
オープンソースのOSS LLMおよびローカルAIプロジェクトのためのローンチプレイブック
オープンソースのプレイブックは、ローンチ前の準備、ローンチ当日の実行、ローンチ後のフォローアップに関する体系的なガイダンスを提供することで、LLMおよびローカルAIプロジェクトの発見可能性の問題に対処します。コミュニティ配布、クリエイターへのアプローチ、SEO最適化のためのテンプレートと戦略が含まれています。