NexQuant: エッジデプロイメント向けRustネイティブ3ビットKVキャッシュエンジン

✍️ OpenClawRadar📅 公開日: April 2, 2026🔗 Source
NexQuant: エッジデプロイメント向けRustネイティブ3ビットKVキャッシュエンジン
Ad

NexQuantは、通常はメモリ制約に悩まされるコンシューマーハードウェア上で高コンテキストモデルを実行するためのRustネイティブエンジンです。Tom TurneyのTurboQuant+研究の後継として、生産環境で実証済みの位置付けとなっています。

主な技術詳細

  • 3〜5倍のメモリ削減: 14Bモデルが4GBのVRAMまたは統合メモリに収まるようになりました
  • MSEのみの安定性: ノイズの多いQJLパスを安定したMSEのみの軌道に置き換え(27/27の論理テストを通過)
  • 統合されたスパース-V: スパース性がベンチマーク機能だけでなく、リアルタイムデコードループに統合されています
  • ゼロアロケーションプリフィル: C++プロトタイプのセグメンテーションフォールト問題なしに高速化するため、100% Safe Rustで記述
  • ハードウェアサポート: Metal、CUDA、Vulkanのネイティブランタイムディスパッチ、古いラップトップやRaspberry Pi向けのCPU-AVX2/NEONバックエンドサポート

実装の詳細

このプロジェクトはウォルシュ・アダマール変換とRust GGUFパーシングを使用しています。3ビットKVキャッシュが数学的に可能であることを証明したTom TurneyのPolarQuant/TurboQuant+の画期的成果を基盤としています。開発には高速ペアプログラマーとしてClaude(Anthropic)が関与しました。

目標は、モデルがスケールするにつれ、それらをローカルかつ分散して実行する能力を維持することです。チームは特にVulkan SPIR-Vカーネルに関するフィードバックを求めています。

📖 完全なソースを読む: r/LocalLLaMA

Ad

👀 See Also

ローカルで動作するGemma 4 26B A4B用のシングルページチャットボットインターフェース
Tools

ローカルで動作するGemma 4 26B A4B用のシングルページチャットボットインターフェース

開発者が、Gemma 4 26B A4Bをローカルで実行するための単一HTMLページのチャットボットインターフェースを作成しました。この実装はLM StudioのAPIに接続し、単一のHTMLファイル内に完全なチャットボットインターフェースを提供します。

OpenClawRadar
tmuxを使用してヘッドレスClaude Codeチャンネルを管理するTelegram Bot
Tools

tmuxを使用してヘッドレスClaude Codeチャンネルを管理するTelegram Bot

依存関係ゼロのPython製Telegramボットで、ヘッドレスサーバー上のtmuxセッションでClaude Code Channelsを起動、停止、監視し、ウォッチドッグによる自動再起動も可能。

OpenClawRadar
Sylve: 仮想化、コンテナ、ストレージのためのFreeBSD管理プレーン
Tools

Sylve: 仮想化、コンテナ、ストレージのためのFreeBSD管理プレーン

Sylveは、FreeBSD用のBSD-2ライセンスの管理プレーンであり、Bhyve VM、FreeBSD Jails、ZFSストレージ、ネットワーキングを統一的に制御します。クラスタリングにはRAFTコンセンサスモデルを採用し、ZFSスナップショット自動化を備えたSamba共有管理を含みます。

OpenClawRadar
Google Surf MCP: 無料のGoogle検索MCP、PDF処理と段階的抽出機能付き
Tools

Google Surf MCP: 無料のGoogle検索MCP、PDF処理と段階的抽出機能付き

Google Surf MCPは、Google検索とURL抽出を行う無料のMCPサーバーで、PDFを処理し、トークンを節約するための段階的抽出モード(abstract/full)を提供します。

OpenClawRadar