llama.cpp con cuantización Q8_0 obtiene una aceleración de 3.1x en GPUs Intel Arc con la corrección de reordenamiento SYCL.

Una corrección de optimización de rendimiento para el backend SYCL de llama.cpp ofrece mejoras significativas de velocidad para modelos cuantizados Q8_0 que se ejecutan en GPUs Intel Arc. La corrección aborda un problema de patrón de acceso a memoria que limitaba el rendimiento de Q8_0 a solo el 21% del ancho de banda teórico.

Problema de rendimiento y causa raíz

En una GPU Intel Arc Pro B70 con 32 GB de GDDR6 y un ancho de banda de 608 GB/s, los modelos Q8_0 se ejecutaban a solo 4,88 tokens/segundo, mientras que Q4_K_M alcanzaba 20,56 tokens/segundo. Esta brecha de rendimiento de 4x era inesperada, ya que Q8_0 solo tiene 1,7 veces más datos que Q4_K_M.

Después de descartar presión de VRAM, problemas de controladores y problemas del backend, la investigación rastreó el cuello de botella hasta la ruta de despacho del kernel SYCL de llama.cpp. El backend SYCL incluye una optimización de "reordenación" que separa los factores de escala de cuantización de los datos de peso para un acceso coalescente a la memoria de la GPU. Esta optimización se implementó para las cuantizaciones Q4_0, Q4_K y Q6_K, pero Q8_0 nunca se añadió al marco de reordenación.

Los bloques de 34 bytes de Q8_0 (que no son potencias de 2) hicieron que el diseño no reordenado fuera particularmente ineficiente para el rendimiento de la caché de la GPU.

La corrección y los resultados

La solución implicó aproximadamente 200 líneas de código que extienden el marco de reordenación existente para admitir Q8_0. El error más crítico fue un problema de una sola línea: los tensores Q8_0 no estaban obteniendo la estructura "extra" asignada durante la inicialización del búfer, lo que hacía que la bandera de reordenación nunca se estableciera.

Resultados en Qwen3.5-27B (Intel Arc Pro B70):

• Q8_0 antes: 4,88 t/s (21% de ancho de banda)
• Q8_0 después: 15,24 t/s (66% de ancho de banda) - 3,1 veces más rápido
• Q4_K_M: 20,12 t/s (sin cambios)
• Q6_K: 13,83 t/s (sin reordenación)

Con esta corrección, Q8_0 ahora supera a Q6_K (15,24 frente a 13,83 tokens/segundo) mientras ofrece una calidad más alta que las cuantizaciones de menor bit.

Validación e implementación

Antes de implementar la corrección, el equipo aplicó un parche binario al IPEX-LLM de código cerrado de Intel para ejecutarlo en la GPU B70 (que no es oficialmente compatible con su ID de dispositivo PCI). Sus kernels Q8_0 optimizados alcanzaron un 61% de ancho de banda, confirmando que el problema tenía solución. La implementación de código abierto en llama.cpp logra un 66% de ancho de banda.

La corrección se ha enviado como una solicitud de extracción al repositorio de llama.cpp.