Apple Silicon macOS VMs : inférence LLM 11 à 16 fois plus rapide grâce au shim de capacités Metal

Cua — l'équipe derrière la pile de virtualisation macOS Lume — a publié un projet de recherche qui corrige les requêtes de capacités Metal dans les VM macOS, débloquant des noyaux GPU plus récents. Résultat : llama.cpp tourne 11 à 16 fois plus vite dans une VM macOS sur Apple Silicon, approchant presque les performances natives.

Comment ça marche

Le framework Virtualization.framework d'Apple présente aux invités macOS un GPU paravirtualisé. Le pilote Metal de l'invité rapporte un profil de capacités conservateur — dans les VM Tahoe standard, il signale une famille GPU de l'ère Apple 5, une mémoire de threadgroup limitée, et aucun support de regroupement SIMD. llama.cpp voit ces limites et choisit des noyaux plus lents, même si le GPU physique peut faire mieux.

Le shim de Cua intercepte les requêtes de capacités Metal dans un seul processus invité et renvoie des valeurs améliorées. Cela permet à llama.cpp de sélectionner des noyaux Metal plus récents sans modifier le système d'exploitation invité ni l'hyperviseur.

Benchmarks

• TinyLlama 1.1B (M1 Ultra) : traitement des invites 11,08× plus rapide, génération de jetons 16,36× plus rapide par rapport à la VM standard. Le traitement des invites a atteint 98 % des performances natives.
• Gemma 4 12B QAT Q4_0 (6,98 Go) : invites 7,20× plus rapides, génération 14,54× plus rapide. A atteint 99,59 % de la vitesse native de traitement des invites, 94,82 % pour la génération.
• Muse Glimmer 30B Q4_K-M GGUF (invité 64 Gio, llama.cpp b10359) : traitement des invites 7,55× plus rapide, génération 8,87× plus rapide sur une invite de 512 jetons.

Pourquoi c'est important

Ce n'est pas un passage de GPU au sens VFIO — l'hôte possède toujours le GPU. Mais cela corrige un mauvais rapport de capacités qui forçait une sélection de noyaux conservatrice. Les utilisateurs de Tart ont déposé un problème similaire concernant les performances graphiques et LLM dans les invités macOS.

Le shim est scopé par processus, donc il n'affecte que l'application cible. Tout est publié sous la même licence permissive que Lume et Cua, avec le code source, les scripts de compilation et les journaux de benchmarks inclus.

Pour qui c'est destiné

Les développeurs exécutant llama.cpp ou d'autres inférences basées sur Metal dans des VM macOS sur Apple Silicon — en particulier ceux qui construisent des outils d'IA locaux ou testent des images VM.