RTX 5000 PRO 48GB、Qwen3.6-27Bに対し4400トークン/秒の高精度キャッシングを実現
ある開発者は、Mac Studioに対してRTX 5000 Pro 48GB（税込み4300ドル）に賭けた——その数字はその賭けを正当化する：Qwen3.6-27B-FP8とフルプレシジョンBF16 KVキャッシュを使用した場合、プロンプト処理（PP）で最大4400トークン/秒、テキスト生成（TG）で50～80トークン/秒を達成。
ハードウェアとコストの内訳
- GPUコスト：4300ドル（税込み）
- 総構築費：5600ドル（64GB RAM搭載）
- コンテキスト制限：フルプレシジョン（BF16 KVキャッシュ）で200Kトークン
パフォーマンスベンチマーク
- プロンプト処理：4400トークン/秒
- テキスト生成：非常に大きなプロンプトで50～60トークン/秒、小さいものでは最大80トークン/秒
- モデル：フルプレシジョンキャッシュのQwen3.6-27B-FP8
- 消費電力：デュアルRTX 5090セットアップの約半分
主な所見
このユーザーは、未経験からPCを自作し、Claude Code（週間Claude Code Max制限の50%をvLLM/Linuxセットアップに消費）に依存した。Qwen3.6-27B-FP8とBF16キャッシュの正確なvLLM設定を詳細に記したRedditの投稿が主な参考資料となった。著者は、2台のRTX 5090の方が性能は優れるが、コスト、騒音、消費電力が大幅に高くなると指摘している。
📖 全文ソース： r/LocalLLaMA
👀 See Also
Anthropic API課金バグ：ソネットモデルがオーパス料金で請求される問題
ユーザーが発見したところによると、Anthropic APIは、正しいモデル文字列を返しているにもかかわらず、claude-sonnet-4-6モデルをOpusの価格設定で誤って課金している。このバグは、コストの不一致を示す生のイベントデータの分析を通じて特定された。
ジョージア州の裁判所命令にAIが生成した虚偽の法律引用が含まれる
ジョージア州最高裁への控訴審で、裁判所命令書に少なくとも5件の存在しない判例引用と、さらに5件の引用命題を支持しない判例引用が含まれていることが明らかになった。検察官が提出した原案にも同じ誤りがあった。
OpenClawの初期ユーザーレポート：Telegramの問題、エージェントプロファイルのハードコーディング、セッションリセットに関する問題
ユーザーがOpenClawを最初の3日間使用した結果、いくつかの実用的な課題が明らかになりました：Telegramの応答が消える、エージェントプロファイルがソースコードで「messaging」にハードコードされている、セッションリセット後にWacliが利用できなくなるなどです。ユーザーはDockerでマイクロテストを実行し、TelegramとWacliを接続し、ハートビートを設定しました。
AIインフラに潜む金融バブル – 重要なポイント
AIインフラ支出ブームに対する批判的分析であり、過去のテクノロジー暴落と同様の持続不可能なバブルを警告する。このPDFは、GPUやデータセンターへの巨額の設備投資が実際の収益をはるかに上回っていると論じている。