Títulos de macOS con Apple Silicon: Inferencia de LLM de 11 a 16 veces más rápida con el shim de capacidad de Metal

Cua, el equipo detrás de la pila de virtualización Lume para macOS, lanzó un proyecto de investigación que parchea las consultas de capacidad de Metal dentro de las máquinas virtuales de macOS, desbloqueando kernels de GPU más nuevos. El resultado: llama.cpp se ejecuta 11–16× más rápido en una VM de macOS en Apple Silicon, casi igualando el rendimiento de hardware nativo.

Cómo funciona

El framework de virtualización de Apple presenta a los invitados de macOS una GPU paravirtualizada. El controlador Metal del invitado reporta un perfil de capacidad conservador: en VMs Tahoe estándar, reporta una familia de GPU de la era Apple 5, memoria de grupo de hilos limitada y sin soporte de matrices SIMD-group. llama.cpp ve esos límites y elige kernels más lentos, incluso cuando la GPU física puede manejar más.

El shim de Cua intercepta las consultas de capacidad de Metal en un solo proceso invitado y devuelve valores mejorados. Eso permite que llama.cpp seleccione kernels Metal más nuevos sin cambiar el sistema operativo invitado ni el hipervisor.

Resultados de referencia

• TinyLlama 1.1B (M1 Ultra): procesamiento de prompts 11.08× más rápido, generación de tokens 16.36× más rápida vs. VM estándar. El procesamiento de prompts alcanzó 98% del rendimiento nativo.
• Gemma 4 12B QAT Q4_0 (6.98 GB): prompts 7.20× más rápidos, generación 14.54× más rápida. Se alcanzó 99.59% de la velocidad de prompts nativa y 94.82% en generación.
• Muse Glimmer 30B Q4_K-M GGUF (invitado de 64 GiB, llama.cpp b10359): procesamiento de prompts 7.55× más rápido, generación 8.87× más rápida en un prompt de 512 tokens.

Por qué es importante

Esto no es un paso de GPU en el sentido de VFIO: el host sigue siendo dueño de la GPU. Pero corrige un error de reporte de capacidad que forzaba una selección de kernel conservadora. Usuarios de Tart han presentado un problema similar sobre el rendimiento gráfico y de LLM en invitados de macOS.

El shim está limitado a nivel de proceso, por lo que solo afecta a la aplicación objetivo. Todo se publica bajo la misma licencia permisiva que Lume y Cua, con código fuente, scripts de compilación y registros de referencia incluidos.

Para quién es

Desarrolladores que ejecutan llama.cpp u otra inferencia basada en Metal dentro de VMs de macOS en Apple Silicon, especialmente aquellos que construyen herramientas de IA locales o prueban contra imágenes de VM.