FairyFuse、三元重み乗算なし推論によりCPU上で29.6倍のカーネル高速化を達成

FairyFuseは、市販CPU上で三値（値は{-1,0,+1}）LLMを実行するための推論システムです。各ワイドリニア層の8つの実数値サブGEMVを、マスク付き加算と減算を用いて単一のAVX-512ループに融合することで、すべての浮動小数点乗算を排除します。ルーフラインモデル分析により、16倍の重み圧縮により、帯域幅制限のあるCPU上でメモリバウンドなGEMVが計算領域にシフトし、従来の逆量子化・乗算カーネルと比較して29.6倍のカーネル高速化を達成します。特筆すべきは、この手法はGPUではほとんど効果がないことです。

主要な結果

• エンドツーエンドスループット： Intel Xeon 8558P上で毎秒32.4トークン。
• llama.cpp Q4_K_Mとの比較： 1.24倍高速で、ほぼロスレス品質（WikiText-2パープレキシティはFP16の5.47に対し5.52、ダウンストリーム精度はFP16の66.0％に対して66.0％）。
• 重み圧縮： 三値表現により16倍（1重みあたり2ビット）— FPへの逆量子化は不要。
• 手法： マスク付き加算/減算を用いて8つのサブGEMVを単一のAVX-512ループに融合—浮動小数点乗算は一切なし。

背景

先行研究（Fairy2i）では、三値LLMがFP16品質に匹敵することが示されましたが、実行時にその構造を活用していませんでした。FairyFuseは、AVX-512を搭載したx86 CPU上で乗算不要の推論にアーキテクチャを再構築することで、そのギャップを埋めます。