Redditユーザーが、Zen 4でQwen 3 30B Q4のCPU推論が18.8 tok/sを報告

✍️ OpenClawRadar📅 公開日: April 15, 2026🔗 Source
Redditユーザーが、Zen 4でQwen 3 30B Q4のCPU推論が18.8 tok/sを報告
Ad

Redditユーザーが、高価なGPUハードウェアに投資する代わりに、CPUでのローカルLLM推論をテストした経験を共有しました。

主な詳細

ユーザーは、ローカルLLM推論用のGPUハードウェア購入を検討しており、以下の選択肢を考えていました:

  • P40 GPU
  • V100 GPU(通常のマザーボードに接続できないSXM2バージョンを購入するところでした)
  • RTX 3090(AI需要により800ドル以上で販売)

まずCPU推論を試すようアドバイスを受けた後、以下のテストを実施:

  • モデル: Qwen 3 30B Q4
  • ハードウェア: Zen 4プロセッサとDDR5メモリ
  • 性能: CPUで18.8トークン/秒
  • 予想と現実: 3-5トークン/秒を予想していたが、約19トークン/秒を達成

ユーザーは「Zen 4 + DDR5は推論に最適だ」と述べています。

実践的テスト結果

ユーザーは実際のコーディングタスク比較を実施:

  • 8Bモデルは「自信を持って完全に間違ったコードを生成」
  • 30Bモデルは「最初の試行で完璧に成功」
  • 30Bモデルの性能を「基本的にGPT-4oレベルを無料で実現」と評価

これは、特定のコーディングタスクにおいて、適切に量子化された30Bモデルを最新CPUハードウェアで実行することで、ローカルLLM推論に通常関連付けられるハードウェア投資なしに、大規模なクラウドベースモデルに匹敵する結果が得られる可能性を示唆しています。

📖 Read the full source: r/LocalLLaMA

Ad

👀 See Also