FOMOEにより、2,100ドルのデスクトップハードウェアで397B Qwen3.5モデルの推論が可能に

✍️ OpenClawRadar📅 公開日: March 29, 2026🔗 Source
FOMOEにより、2,100ドルのデスクトップハードウェアで397B Qwen3.5モデルの推論が可能に
Ad

FOMOEが解決する課題

大規模なMixture of Experts(MoE)モデルは、通常NVMeのようなフラッシュメモリに数百GBの重みストレージを必要とします。推論中には重みのごく一部しか必要とされませんが、事前にどの重みが必要かを予測することはできません。ランダムアクセスパターンにより、フラッシュメモリの遅延が高くなり、コンシューマーハードウェアでの実用的な推論が困難になります。

FOMOEの仕組み

このシステムは、いくつかの技術により、ほとんどのエキスパート重みの読み取りを不要にします:

  • 最新のローディングエキスパートキャッシュを使用して、最も一般的なエキスパートをGPUメモリ(VRAM)に保存
  • ウォームスタートで60%のVRAMヒット率を達成し、NVMe読み取りを28%に削減(12%はDRAMから提供)
  • 重みのロードと計算をオーバーラップさせるデュアルGPUピンポンアーキテクチャを採用
  • キャッシュ対応ルーティング(CAR)を実装 - 2つのエキスパートのスコアが類似している場合、許容範囲内でVRAMまたはDRAMキャッシュに既にある次善のスコアのエキスパートを選択

性能結果

  • Qwen3.5の3970億パラメータモデルで毎秒5〜9トークンの推論速度
  • CAR有効時、NVMe読み取りを7%に削減
  • wikitextでの測定でパープレキシティの低下はわずか3.5%
  • ハードウェア要件:2台の500ドルGPU、32GB RAM、1台のNVMeドライブ
  • Q4_K_M量子化を使用

実装は、人間の強力なガイダンスのもと、Claudeが主導する約15,000行のC/HIPコードで構成されています。

📖 Read the full source: r/LocalLLaMA

Ad

👀 See Also

OpenClaw 清掃員スキル:自動化システム管理とセキュリティ強化のための
Tools

OpenClaw 清掃員スキル:自動化システム管理とセキュリティ強化のための

開発者が、Claude Codeを使用してOpenClawマシンにSSH接続し、サンドボックス化、OSの健全性、チャネルセキュリティなどの設定を強化し、CLAUDE.mdに監査手順を記載したプロジェクトフォルダを維持するスキルを作成しました。

OpenClawRadar
MCPマーケットプレイスは、Claude Codeを基盤に構築され、セキュリティスキャンと収益化機能を備えています。
Tools

MCPマーケットプレイスは、Claude Codeを基盤に構築され、セキュリティスキャンと収益化機能を備えています。

開発者は、コードベースの約95%をClaude Codeを使用して構築し、2,200以上のMCPサーバー向けのセキュリティスキャン機能とクリエイター向け収益化オプションを備えた厳選マーケットプレイスを立ち上げました。

OpenClawRadar
WindowsシステムトレイのClaudeコード割り当てモニター
Tools

WindowsシステムトレイのClaudeコード割り当てモニター

Windowsシステムトレイアプリケーションで、カラーコード付きアイコンでClaude Codeの使用状況を監視し、AnthropicのOAuth API経由で5分ごとにクォータデータを自動更新し、時間単位、日単位、週単位、月単位の使用パターンを詳細に表示するダッシュボードを提供します。

OpenClawRadar
OpenClawのQMDメモリ検索高速パスには静かなバグがありました
Tools

OpenClawのQMDメモリ検索高速パスには静かなバグがありました

OpenClawの組み込みメモリ検索は基本的なキーワードマッチングを使用しますが、ユーザーはワークスペースのマークダウンファイル全体で意味検索を行うQMDに切り替えることができます。MCPorter経由の高速パスは3つのバグにより壊れ、すべての呼び出しが暗黙的に失敗し、より遅いCLI実行にフォールバックしていました。

OpenClawRadar