RTX 4070 SuperでQwen 3.6とGemma 4モデルを実行する：12GB VRAMベンチマーク
Redditユーザーが、12GBのRTX 4070 Super（+10% OC）とAMD 9800X3D CPU、64GB DDR5-6000 RAMを搭載したシステムで、複数の大規模MoEモデルを実行する速度ベンチマークを公開しました。ユーザーはVRAM節約のためディスプレイをiGPUにオフロードしており、そうしないと約10%のパフォーマンス低下があると述べています。セットアップはCUDA 13.1と最新のllama.cppを使用し、以下のハードウェア構成です。
n-gpu-layers = 999
threads = 8
threads-batch = 16
batch-size = 4096
ubatch-size = 4096
ctx-size = 65536
flash-attn = true
ベンチマーク結果
ユーザーはVS CodeのClineとKiloCodeを用いて、Unsloth GGUF量子化で4つのモデルをテストしました（ツール呼び出しの問題なし）。すべての測定値はトークン/秒（tgs）と処理/秒（pps）です。
- Qwen3.6-35B-A3B-GGUF Q6_K_XL: 40 tgs, 2100 pps
- Qwen3.6-27B-IQ3_XXS: 16 tgs, 1000 pps
- Gemma 4 26B-A4B-it-UD-Q8: 26 tgs, 2150 pps
- Gemma-4-31B-it-IQ3_XXS: 13-16 tgs, 650 pps
注目すべき構成詳細
ユーザーは個々のモデル構成と特定のチューニングを共有しました。主なハイライト：
- Qwen3.6-35B-A3Bの場合：
n-cpu-moe = 35（35個のMoEエキスパートをCPUにオフロード）、cache-type-k = q8_0、cache-type-v = q8_0、swa-full = true、cache-reuse = 512、コンテキストサイズ131072、推論有効、予算8096。 - Gemma 4 26Bの場合：
n-cpu-moe = 27、コンテキスト102400、fit = on、fit-target = 256、fit-ctx = 32768。 - Gemma 4 31Bの場合：
ngram-modによる投機的デコード（spec-type = ngram-mod）、n-gpu-layers = 58（部分的なGPUオフロード）、cache-type-k = q4_0、no-kv-offload = true。 - すべてのモデルで
flash-attn = true、no-mmproj-offload = true。
ユーザーがWeb開発に好むモデルはQwen3.6-35B-A3Bで、VS Code拡張機能でツール呼び出しの問題がない品質を称賛しています。
📖 ソース全文を読む： r/LocalLLaMA
👀 See Also
ローカルAIコーディングエージェントのセットアップにおけるOpenCodeの始め方
初心者向けガイドでは、Mac、Linux、Windows（WSL2）でLM Studio、llama.cpp、またはOllamaを使用して、ByteShapeの最適化モデルでOpenCodeを完全ローカルのAIコーディングエージェントとしてセットアップする手順を説明します。
AIエージェント用語の実用用語集（ハーネス、スキャフォールド、エージェントなど）
Hugging Faceのブログによる、AIエージェント用語（Harness、Scaffold、Agentなど）をわかりやすく解説した用語集。実際の例を用いて説明しています。
月額50ドル未満でClaude CodeとMetabaseを使った本格的なBIシステム構築
RedditユーザーがClaude Code、BigQuery、セルフホスト型Metabaseを使って完全なBIシステムを構築。1万5千ドルの専門家見積もりを、3日間の作業と月額30ドルのクラウド費用で代替した。
マルチエージェントアーキテクチャ：AIシステムにおけるシングルエージェントの落とし穴を回避する
Redditの投稿では、複数のタスクに単一のエージェントを使用するという一般的なアーキテクチャ上の誤りが指摘されており、これが絶え間ない監視を必要とする脆弱なシステムにつながっています。提案されている解決策は、各エージェントが狭く特定の役割を持つオーケストレーターとスペシャリストのモデルです。