NexQuant: エッジデプロイメント向けRustネイティブ3ビットKVキャッシュエンジン

✍️ OpenClawRadar📅 公開日: April 2, 2026🔗 Source
NexQuant: エッジデプロイメント向けRustネイティブ3ビットKVキャッシュエンジン
Ad

NexQuantは、通常はメモリ制約に悩まされるコンシューマーハードウェア上で高コンテキストモデルを実行するためのRustネイティブエンジンです。Tom TurneyのTurboQuant+研究の後継として、生産環境で実証済みの位置付けとなっています。

主な技術詳細

  • 3〜5倍のメモリ削減: 14Bモデルが4GBのVRAMまたは統合メモリに収まるようになりました
  • MSEのみの安定性: ノイズの多いQJLパスを安定したMSEのみの軌道に置き換え(27/27の論理テストを通過)
  • 統合されたスパース-V: スパース性がベンチマーク機能だけでなく、リアルタイムデコードループに統合されています
  • ゼロアロケーションプリフィル: C++プロトタイプのセグメンテーションフォールト問題なしに高速化するため、100% Safe Rustで記述
  • ハードウェアサポート: Metal、CUDA、Vulkanのネイティブランタイムディスパッチ、古いラップトップやRaspberry Pi向けのCPU-AVX2/NEONバックエンドサポート

実装の詳細

このプロジェクトはウォルシュ・アダマール変換とRust GGUFパーシングを使用しています。3ビットKVキャッシュが数学的に可能であることを証明したTom TurneyのPolarQuant/TurboQuant+の画期的成果を基盤としています。開発には高速ペアプログラマーとしてClaude(Anthropic)が関与しました。

目標は、モデルがスケールするにつれ、それらをローカルかつ分散して実行する能力を維持することです。チームは特にVulkan SPIR-Vカーネルに関するフィードバックを求めています。

📖 完全なソースを読む: r/LocalLLaMA

Ad

👀 See Also

フェーズロック:子育ての手法に着想を得たAIエージェント制御システム
Tools

フェーズロック:子育ての手法に着想を得たAIエージェント制御システム

Phaselockは、AIエージェント向けの4つの制御メカニズム(行動前の明示的なゲート、ミスに対する即時フィードバック、選択肢の制約、機械的なルール強制)を実装したオープンソースのAgent Skillです。Claude Code、Cursor、Windsurf、フックをサポートするツールと連携します。

OpenClawRadar
アメリカ合衆国法典がGitリポジトリとして完全な変更履歴付きで利用可能
Tools

アメリカ合衆国法典がGitリポジトリとして完全な変更履歴付きで利用可能

アメリカ合衆国法典は、連邦法全体をMarkdownファイルとして格納したGitリポジトリとして利用可能です。各コミットは2013年から現在までの時点スナップショットを表し、開発者はgit diff、git log、git blameを使用して法改正を追跡できます。

OpenClawRadar
TeamHero v2.6.1: Claude AIエージェントを管理するためのオープンソースプラットフォーム
Tools

TeamHero v2.6.1: Claude AIエージェントを管理するためのオープンソースプラットフォーム

TeamHero v2.6.1は、ローカルファーストのオープンソースプラットフォームで、自動操縢モード、サブタスクのネスト、フロービュー、永続的メモリなどの機能を備えたClaudeエージェントの管理チームを作成します。このツールはNode.js上で動作し、バニラHTML/CSS/JSのダッシュボードを備えており、データベースは必要ありません。

OpenClawRadar
VibeAround:ローカルデーモンがコーディングエージェントをTelegramとDiscordに接続します
Tools

VibeAround:ローカルデーモンがコーディングエージェントをTelegramとDiscordに接続します

VibeAroundは、Claude Code、Gemini CLI、CodexなどのコーディングエージェントをTelegramやDiscordなどのIMプラットフォームに接続するローカルデーモンです。このツールは、ピックアップコードを使ったセッションの引き継ぎ機能を備えており、デバイスをまたいで会話を続けることができます。

OpenClawRadar