FairyFuse réalise un accélération de 29,6x du noyau sur les CPU grâce à une inférence sans multiplication de poids ternaire
FairyFuse est un système d'inférence pour les LLM ternaires (valeurs dans {-1,0,+1}) sur CPU grand public. En fusionnant les huit sous-GEMV réels de chaque couche largement linéaire en une seule boucle AVX-512 utilisant des additions et soustractions masquées, il élimine toutes les multiplications en virgule flottante. L'analyse roofline montre qu'une compression de poids 16x déplace les GEMV limités par la mémoire vers le régime de calcul sur les CPU à bande passante limitée, offrant un gain de vitesse du noyau de 29,6x par rapport aux noyaux conventionnels de déquantification et multiplication. Notamment, l'approche offre peu d'avantages sur GPU.
Résultats clés
- Débit de bout en bout : 32,4 tokens par seconde sur un seul Intel Xeon 8558P.
- Comparaison avec llama.cpp Q4_K_M : 1,24x plus rapide avec une qualité quasi sans perte (perplexité WikiText-2 5,52 contre 5,47 pour FP16 ; précision en aval 66,0% contre 66,0% FP16).
- Compression des poids : 16x (2 bits par poids) grâce à la représentation ternaire — aucune déquantification en FP nécessaire.
- Technique : Fusionne huit sous-GEMV en une seule boucle AVX-512 utilisant des additions/soustractions masquées — aucune multiplication en virgule flottante du tout.
Contexte
Des travaux antérieurs (Fairy2i) ont montré que les LLM ternaires peuvent égaler la qualité FP16, mais l'exécution n'exploitait pas la structure. FairyFuse comble cette lacune en réarchitecturant l'inférence pour qu'elle soit sans multiplication sur les CPU x86 avec AVX-512.
📖 Lire la source complète : HN LLM Tools
👀 See Also
Rust sauvera Linux de l'IA : Greg Kroah-Hartman sur les bugs du C et les garanties de sécurité de Rust
Greg Kroah-Hartman, mainteneur du noyau Linux stable, affirme que Rust élimine 60% des bogues du noyau à la compilation, répondant à l'afflux de CVE découvertes par l'IA comme Dirty Frag et Fragnesia.
Deezer rapporte que 44 % des téléchargements quotidiens sont de la musique générée par l'IA
Deezer a annoncé que les morceaux générés par l'IA représentent désormais 44 % de toute la nouvelle musique téléchargée sur sa plateforme, avec près de 75 000 pistes IA téléchargées quotidiennement. Le système de détection de l'entreprise étiquette ces morceaux, les retire des recommandations et démonétise 85 % des streams IA en raison de fraudes.
Anthropic autorise l'utilisation par abonnement de Claude via OpenClaw à partir de juin
Anthropic permettra l'utilisation par abonnement de Claude via OpenClaw à partir de juin, comme annoncé par le compte Twitter OpenClaw Dev.
Forbes : La facture des licenciements liés à l'IA arrive à échéance — les directeurs techniques paieront deux fois
Forbes soutient que le coût des licenciements liés à l'IA frappera les entreprises deux fois : d'abord par les indemnités de départ et le moral, puis par le réembauche lorsque les gains d'efficacité attendus ne se matérialisent pas.