llama.cpp ブランチ経由のV100 32GB上のQwen 3.6 27B MTP：54 t/s
r/LocalLLaMAのユーザーが、PCIeアダプタを使用したV100 32GB SXMモジュール上で、マルチトークン予測（MTP）を用いてQwen 3.6 27Bを実行した印象的な結果を報告している。このセットアップはam17anのMTPブランチのllama.cppと対応するMTP GGUF量子化を使用している。主な仕様：Q8_0 KVキャッシュ、200kキャッシュ制限、llama-server経由でVS Code Copilotバックエンドとして実行。
パフォーマンス数値
- MTPなし：29-30トークン/秒
- MTPあり：54-55トークン/秒（150W電力制限時）
- 50kトークンコンテキスト後：40-45 t/sに低下
ブランチ：am17anのMTPフォーク。ビルドと実行は簡単で、「一発でプルしてビルド」でき、llama-serverは問題なく動作した。このセットアップはツールコールやサブエージェントをうまく処理し、VRAMの制限（32GB）にもかかわらず「非常に洞察に富んだコードレビューとリファクタリング」を提供した。
これは特にV100のような古いデータセンターハードウェアでLLMを実行する開発者にとって重要である。MTPはこのモデルのスループットを実質的に2倍にし、コーディングアシスタントワークロードに実用的な利点を示している。
📖 全文を読む: r/LocalLLaMA
👀 See Also
Visdiff: Claudeのフロントエンドコード生成のための視覚的フィードバックループ
Visdiffは、Claudeのフロントエンドコード生成における視覚的な精度のギャップに対処します。レンダリングされた出力をFigmaデザインとピクセル単位で比較し、差異をループにフィードバックして一致するまで繰り返します。
HomeClawプラグインは、Apple HomeKitをOpenClawに接続します。
HomeClawは、Apple Home/HomeKitデバイスをOpenClawに接続するOpenClawプラグインです。公認配布のためのApple HomeKit制限により、ビルドと実行にはApple Developerアカウントが必要です。
AIコーディングエージェントのためのクロスモデルレビューループが重大な設計上の欠陥を捕捉
開発者が、コードエージェントからの計画を実行前に第二のAIモデルでレビューし、ロールバック失敗やセキュリティホールなどの重大な欠陥を検出するクロスモデルレビューシステムを構築しました。このツールはMITライセンスで提供され、TUIダッシュボードを含んでいます。
Claude Code MCPスタックの測定：キャッシュ親和性とバイト節約の比較、およびプロンプトキャッシュの2行修正
Greg ShevchenkoがMCP圧縮機と検索層を2つの軸（バイト節約量とキャッシュ親和性）でベンチマーク。2行の修正（rgのヒットをソート、マップエントリをソート）でキャッシュヒット率を約0%から100%に向上し、バイト節約量は維持。オープンソースのハーネス付き。