Redditユーザーが、Zen 4でQwen 3 30B Q4のCPU推論が18.8 tok/sを報告

Redditユーザーが、高価なGPUハードウェアに投資する代わりに、CPUでのローカルLLM推論をテストした経験を共有しました。
主な詳細
ユーザーは、ローカルLLM推論用のGPUハードウェア購入を検討しており、以下の選択肢を考えていました:
- P40 GPU
- V100 GPU(通常のマザーボードに接続できないSXM2バージョンを購入するところでした)
- RTX 3090(AI需要により800ドル以上で販売)
まずCPU推論を試すようアドバイスを受けた後、以下のテストを実施:
- モデル: Qwen 3 30B Q4
- ハードウェア: Zen 4プロセッサとDDR5メモリ
- 性能: CPUで18.8トークン/秒
- 予想と現実: 3-5トークン/秒を予想していたが、約19トークン/秒を達成
ユーザーは「Zen 4 + DDR5は推論に最適だ」と述べています。
実践的テスト結果
ユーザーは実際のコーディングタスク比較を実施:
- 8Bモデルは「自信を持って完全に間違ったコードを生成」
- 30Bモデルは「最初の試行で完璧に成功」
- 30Bモデルの性能を「基本的にGPT-4oレベルを無料で実現」と評価
これは、特定のコーディングタスクにおいて、適切に量子化された30Bモデルを最新CPUハードウェアで実行することで、ローカルLLM推論に通常関連付けられるハードウェア投資なしに、大規模なクラウドベースモデルに匹敵する結果が得られる可能性を示唆しています。
📖 Read the full source: r/LocalLLaMA
👀 See Also

RTX 5080 16GB:Qwen3.6 35B MoE、128kコンテキストで56トークン/秒、そしてMTPが役立たない理由
新しいベンチマークによると、RTX 5080 16GBでQwen3.6 35B MoEを128kコンテキストで実行すると、生成速度56 tok/sを達成。MTP(マルチトークン予測)はVRAM不足によりエキスパート層をCPUに押し出し、23%の速度低下を引き起こす。

Claude Code v2.1.191:/rewind、CPU修正、MCP信頼性向上
Claude Code v2.1.191 では、/rewind による会話の復元、ストリーミング時の CPU 使用率の約 37% 削減、エージェントの復活問題の修正、MCP のリトライ機能による信頼性向上などが追加されました。

インドとUAE、CerebrasスーパーコンピュータでAI主権において提携
インドとUAEが提携し、Cerebras搭載のAIスーパーコンピューターをインド国内に導入。米国のクラウド大手を迂回し、G42の契約によりインドはマシンの所有権とデータ管理権を獲得。

AIエージェント向けに構築された新チャットレイヤーの探求:コミュニティからのフィードバックを募集!
AIエージェント向けの新しいチャットレイヤーが導入され、クリエイターはOpenClawコミュニティからのフィードバックを求めています。この革新的なツールの可能性を発見してください。