La quantification Q8_0 de llama.cpp obtient une accélération de 3,1x sur les GPU Intel Arc grâce au correctif de réorganisation SYCL.

Une correction d'optimisation des performances pour le backend SYCL de llama.cpp apporte des améliorations de vitesse significatives pour les modèles quantifiés Q8_0 fonctionnant sur les GPU Intel Arc. La correction résout un problème de modèle d'accès mémoire qui limitait les performances Q8_0 à seulement 21 % de la bande passante théorique.

Problème de performance et cause racine

Sur un GPU Intel Arc Pro B70 avec 32 Go de GDDR6 et une bande passante de 608 Go/s, les modèles Q8_0 fonctionnaient à seulement 4,88 tokens/seconde tandis que Q4_K_M atteignait 20,56 tokens/seconde. Cet écart de performance de 4x était inattendu puisque Q8_0 n'a que 1,7x plus de données que Q4_K_M.

Après avoir écarté la pression sur la VRAM, les problèmes de pilote et les problèmes de backend, l'enquête a retracé le goulot d'étranglement vers le chemin de dispatch du noyau SYCL de llama.cpp. Le backend SYCL inclut une optimisation de "réorganisation" qui sépare les facteurs d'échelle de quantification des données de poids pour un accès mémoire GPU coalescé. Cette optimisation a été implémentée pour les quantifications Q4_0, Q4_K et Q6_K, mais Q8_0 n'a jamais été ajouté au framework de réorganisation.

Les blocs de 34 octets de Q8_0 (qui ne sont pas des puissances de 2) rendaient la disposition non réorganisée particulièrement inefficace pour les performances du cache GPU.

La correction et les résultats

La solution a impliqué environ 200 lignes de code étendant le framework de réorganisation existant pour prendre en charge Q8_0. Le bug le plus critique était un problème d'une seule ligne : les tenseurs Q8_0 ne recevaient pas la structure "extra" allouée lors de l'initialisation du tampon, ce qui empêchait le drapeau de réorganisation d'être jamais défini.

Résultats sur Qwen3.5-27B (Intel Arc Pro B70) :

• Q8_0 avant : 4,88 t/s (21 % de bande passante)
• Q8_0 après : 15,24 t/s (66 % de bande passante) - 3,1x plus rapide
• Q4_K_M : 20,12 t/s (inchangé)
• Q6_K : 13,83 t/s (pas de réorganisation)

Avec cette correction, Q8_0 surpasse maintenant Q6_K (15,24 contre 13,83 tokens/seconde) tout en offrant une qualité supérieure aux quantifications à plus faible bit.

Validation et implémentation

Avant d'implémenter la correction, l'équipe a appliqué un correctif binaire à l'IPEX-LLM propriétaire d'Intel pour l'exécuter sur le GPU B70 (qui n'est pas officiellement pris en charge par son ID de périphérique PCI). Leurs noyaux Q8_0 optimisés ont atteint 61 % de bande passante, confirmant que le problème était soluble. L'implémentation open-source dans llama.cpp atteint 66 % de bande passante.

La correction a été soumise en tant que pull request au dépôt llama.cpp.