FairyFuse、三元重み乗算なし推論によりCPU上で29.6倍のカーネル高速化を達成

✍️ OpenClawRadar📅 公開日: May 13, 2026🔗 Source
Ad

FairyFuseは、市販CPU上で三値(値は{-1,0,+1})LLMを実行するための推論システムです。各ワイドリニア層の8つの実数値サブGEMVを、マスク付き加算と減算を用いて単一のAVX-512ループに融合することで、すべての浮動小数点乗算を排除します。ルーフラインモデル分析により、16倍の重み圧縮により、帯域幅制限のあるCPU上でメモリバウンドなGEMVが計算領域にシフトし、従来の逆量子化・乗算カーネルと比較して29.6倍のカーネル高速化を達成します。特筆すべきは、この手法はGPUではほとんど効果がないことです。

主要な結果

  • エンドツーエンドスループット: Intel Xeon 8558P上で毎秒32.4トークン。
  • llama.cpp Q4_K_Mとの比較: 1.24倍高速で、ほぼロスレス品質(WikiText-2パープレキシティはFP16の5.47に対し5.52、ダウンストリーム精度はFP16の66.0%に対して66.0%)。
  • 重み圧縮: 三値表現により16倍(1重みあたり2ビット)— FPへの逆量子化は不要。
  • 手法: マスク付き加算/減算を用いて8つのサブGEMVを単一のAVX-512ループに融合—浮動小数点乗算は一切なし。

背景

先行研究(Fairy2i)では、三値LLMがFP16品質に匹敵することが示されましたが、実行時にその構造を活用していませんでした。FairyFuseは、AVX-512を搭載したx86 CPU上で乗算不要の推論にアーキテクチャを再構築することで、そのギャップを埋めます。

📖 完全なソースを読む: HN LLM Tools

Ad

👀 See Also

AI品質チェックが不十分だったため、フォードが300人以上のベテランエンジニアを再雇用
News

AI品質チェックが不十分だったため、フォードが300人以上のベテランエンジニアを再雇用

フォードは、AIによる品質チェックがベテラン技術者の専門知識に及ばなかったため、300人以上のベテラン品質検査員を再雇用した。訓練データの不足と経験豊富なスタッフの喪失が原因とされる。

OpenClawRadar
Anthropicのクロード寓話5:神話級の能力、データ保持が必要
News

Anthropicのクロード寓話5:神話級の能力、データ保持が必要

Anthropicは明日、Claude Fable 5をリリース。神話級の機能と強化されたガードレールを備えた、最も先進的な公開モデルとされる。データ保持が必要となる見込み。

OpenClawRadar
IPOを前に、アルトマンとアモデイがAIによる雇用終末予測を撤回
News

IPOを前に、アルトマンとアモデイがAIによる雇用終末予測を撤回

OpenAIのサム・アルトマン氏とAnthropicのダリオ・アモデイ氏が、AIによるホワイトカラー職の消滅予測を撤回。両社は1兆ドルのIPOを視野に入れる。ゴールドマン・サックスのデイビッド・ソロモンCEOは「最初から正しかった」と主張。

OpenClawRadar
クロード・オーパス 4.7 分析:最高の知性を備えるが、コスト高で冗長
News

クロード・オーパス 4.7 分析:最高の知性を備えるが、コスト高で冗長

Claude Opus 4.7(適応推論、最大努力)は、Artificial Analysis知能指数で133モデル中1位を獲得し、スコア57を記録しましたが、入力100万トークンあたり5ドル、出力100万トークンあたり25ドルのコストがかかり、平均よりも大幅に高価です。

OpenClawRadar