Redditユーザーが、Zen 4でQwen 3 30B Q4のCPU推論が18.8 tok/sを報告
Redditユーザーが、高価なGPUハードウェアに投資する代わりに、CPUでのローカルLLM推論をテストした経験を共有しました。
主な詳細
ユーザーは、ローカルLLM推論用のGPUハードウェア購入を検討しており、以下の選択肢を考えていました：
- P40 GPU
- V100 GPU（通常のマザーボードに接続できないSXM2バージョンを購入するところでした）
- RTX 3090（AI需要により800ドル以上で販売）
まずCPU推論を試すようアドバイスを受けた後、以下のテストを実施：
- モデル： Qwen 3 30B Q4
- ハードウェア： Zen 4プロセッサとDDR5メモリ
- 性能： CPUで18.8トークン/秒
- 予想と現実： 3-5トークン/秒を予想していたが、約19トークン/秒を達成
ユーザーは「Zen 4 + DDR5は推論に最適だ」と述べています。
実践的テスト結果
ユーザーは実際のコーディングタスク比較を実施：
- 8Bモデルは「自信を持って完全に間違ったコードを生成」
- 30Bモデルは「最初の試行で完璧に成功」
- 30Bモデルの性能を「基本的にGPT-4oレベルを無料で実現」と評価
これは、特定のコーディングタスクにおいて、適切に量子化された30Bモデルを最新CPUハードウェアで実行することで、ローカルLLM推論に通常関連付けられるハードウェア投資なしに、大規模なクラウドベースモデルに匹敵する結果が得られる可能性を示唆しています。
📖 Read the full source: r/LocalLLaMA
👀 See Also
macOS Tahoe 26.5アップデートリリースノートでClaude AIがクレジットされる
AppleのmacOS Tahoe 26.5リリースノートが、Claude AIをエンジニアリングチームと並んでクレジットしており、AppleのチェンジログでAIが正式に認められた初めての事例となりました。
Redditの議論がリアクティブAIアシスタントを批判、真のプロアクティブ性を要求
あるRedditの投稿では、現在のAIアシスタントは本質的に反応型として設計されており、人間からの指示を待つだけで、積極的に問題を特定することはないと論じています。著者は、定期的なチェックと真の文脈理解を区別し、本当の積極性には永続的な記憶、イベント駆動型のトリガー、時間を超えた推論が必要だと指摘しています。
平凡なリスク：AI安全性の最大の脅威は劇的ではなく、退屈である理由
あるエッセイは、ありふれたAIの失敗がすでに大規模に被害をもたらしていること、現在のアライメント手法はサンドボックス環境に過度に依存していること、そして能力の収束により偶発的なオープンワールドへの露出がますます現実的になっていることを論じている。
Phi-4-miniのLayerNormパラメータのみを訓練する微調整は、性能向上に失敗しました。
ある愛好家が、Phi-4-miniにおいてPythonと医療分野で異なる学習率とデータ形式を用いて、LayerNormのγ値のみを訓練する実験を行いました。すべてのベンチマークでベースラインと比較して性能がわずかに低下し、著者はトランスフォーマーがすでにアテンションを通じて情報を動的にルーティングしていると結論づけました。