RTX 5000 PRO 48GB、Qwen3.6-27Bに対し4400トークン/秒の高精度キャッシングを実現
ある開発者は、Mac Studioに対してRTX 5000 Pro 48GB（税込み4300ドル）に賭けた——その数字はその賭けを正当化する：Qwen3.6-27B-FP8とフルプレシジョンBF16 KVキャッシュを使用した場合、プロンプト処理（PP）で最大4400トークン/秒、テキスト生成（TG）で50～80トークン/秒を達成。
ハードウェアとコストの内訳
- GPUコスト：4300ドル（税込み）
- 総構築費：5600ドル（64GB RAM搭載）
- コンテキスト制限：フルプレシジョン（BF16 KVキャッシュ）で200Kトークン
パフォーマンスベンチマーク
- プロンプト処理：4400トークン/秒
- テキスト生成：非常に大きなプロンプトで50～60トークン/秒、小さいものでは最大80トークン/秒
- モデル：フルプレシジョンキャッシュのQwen3.6-27B-FP8
- 消費電力：デュアルRTX 5090セットアップの約半分
主な所見
このユーザーは、未経験からPCを自作し、Claude Code（週間Claude Code Max制限の50%をvLLM/Linuxセットアップに消費）に依存した。Qwen3.6-27B-FP8とBF16キャッシュの正確なvLLM設定を詳細に記したRedditの投稿が主な参考資料となった。著者は、2台のRTX 5090の方が性能は優れるが、コスト、騒音、消費電力が大幅に高くなると指摘している。
📖 全文ソース： r/LocalLLaMA
👀 See Also
Claudeは、4月4日からOpenClawを含むサードパーティ製ハーネスの使用を制限します。
Anthropicは、4月4日よりClaudeのサブスクリプション制限をOpenClawなどのサードパーティハーネスで使用できなくなり、そのような利用には別途従量課金が必要となります。ユーザーには月額サブスクリプション料金に相当する1回限りのクレジットが付与され、最大30%割引の利用バンドルを事前購入できます。
Microsoft Copilotは、GitHubとGitLabのプルリクエストに広告を挿入します。
マイクロソフトのCopilotが、150万件のGitHubプルリクエストに広告を挿入したと報告されており、GitLabにも影響を与えています。この広告は、AIコーディングアシスタントによって生成されたプルリクエストの説明文内に表示されます。
Metaがコンクリート配合設計用のAIモデル「BOxCrete」をリリース
Metaは、米国産材料を使用した持続可能なコンクリート配合を設計するためのオープンソースAIモデル「Bayesian Optimization for Concrete（BOxCrete）」をリリースしました。このモデルは、ノイズに対するロバスト性とスランプ予測機能の向上により、以前のバージョンから改良されています。
Claude Code v2.1.101では、チームオンボーディング機能の追加、エンタープライズTLSサポートの実装、メモリリークの修正が行われました。
Claude Code v2.1.101では、チームメンバーのランプアップガイドを生成する/team-onboardingコマンドの追加、エンタープライズTLSプロキシ用のOS CA証明書ストアのデフォルト信頼設定、長いセッションでのメモリリーク修正など、25以上の改善とバグ修正が行われました。