Apple-Silicon-macOS-VMs: 11–16× schnellere LLM-Inferenz mit Metal-Capability-Shim

Cua – das Team hinter dem Lume-macOS-Virtualisierungs-Stack – hat ein Forschungsprojekt veröffentlicht, das Metal-Fähigkeitsabfragen in macOS-VMs patcht und neuere GPU-Kernel freischaltet. Das Ergebnis: llama.cpp läuft in einer macOS-VM auf Apple Silicon 11–16× schneller und erreicht fast die Leistung von nativem Betrieb.

So funktioniert es

Apples Virtualization.framework präsentiert macOS-Gästen eine paravirtualisierte GPU. Der Metal-Treiber des Gasts meldet ein konservatives Fähigkeitsprofil – in Standard-Tahoe-VMs meldet es eine GPU-Familie der Apple-5-Ära, begrenzten Threadgroup-Speicher und keine SIMD-Gruppen-Matrix-Unterstützung. llama.cpp sieht diese Grenzen und wählt langsamere Kernel, obwohl die physische GPU mehr kann.

Cuas Shim fängt Metal-Fähigkeitsabfragen in einem einzelnen Gastprozess ab und gibt aktualisierte Werte zurück. Das ermöglicht llama.cpp, neuere Metal-Kernel auszuwählen, ohne das Gastbetriebssystem oder den Hypervisor zu ändern.

Benchmarks

• TinyLlama 1.1B (M1 Ultra): Prompt-Verarbeitung 11,08× schneller, Token-Generierung 16,36× schneller im Vergleich zur Standard-VM. Die Prompt-Verarbeitung erreichte 98 % des nativen Niveaus.
• Gemma 4 12B QAT Q4_0 (6,98 GB): 7,20× schnellere Prompts, 14,54× schnellere Generierung. Erreichte 99,59 % der nativen Prompt-Geschwindigkeit und 94,82 % der Generierung.
• Muse Glimmer 30B Q4_K-M GGUF (64 GiB Gast, llama.cpp b10359): 7,55× schnellere Prompt-Verarbeitung, 8,87× schnellere Generierung bei einem 512-Token-Prompt.

Warum das wichtig ist

Dies ist kein GPU-Durchgriff im VFIO-Sinn – der Host behält die GPU. Aber es korrigiert eine Fehlmeldung, die eine konservative Kernel-Auswahl erzwang. Tart-Benutzer haben ein ähnliches Problem bezüglich Grafik- und LLM-Leistung in macOS-Gästen gemeldet.

Der Shim ist prozessbezogen, betrifft also nur die Ziel-App. Alles wird unter derselben freizügigen Lizenz wie Lume und Cua veröffentlicht, einschließlich Quellcode, Build-Skripten und Benchmark-Logs.

Für wen das gedacht ist

Entwickler, die llama.cpp oder andere Metal-basierte Inferenz in macOS-VMs auf Apple Silicon ausführen – insbesondere solche, die lokale KI-Tools bauen oder gegen VM-Images testen.