Apple Silicon macOS 가상 머신: Metal 기능 Shim으로 LLM 추론 11~16배 향상

Cua — Lume macOS 가상화 스택을 만든 팀 — macOS VM 내부의 Metal 기능 쿼리를 패치하여 최신 GPU 커널을 잠금 해제하는 연구 프로젝트를 발표했습니다. 그 결과, llama.cpp가 Apple Silicon의 macOS VM에서 11~16배 빠르게 실행되어 베어메탈 성능에 거의 근접합니다.

작동 방식

Apple의 Virtualization.framework는 macOS 게스트에게 반가상화 GPU를 제공합니다. 게스트의 Metal 드라이버는 보수적인 기능 프로필을 보고합니다 — 기본 Tahoe VM에서는 Apple 5세대 GPU 제품군, 제한된 스레드그룹 메모리, SIMD 그룹 매트릭스 지원 없음으로 보고합니다. llama.cpp는 이러한 제한을 보고 더 느린 커널을 선택하지만, 실제 GPU는 더 많은 것을 처리할 수 있습니다.

Cua의 셤은 단일 게스트 프로세스에서 Metal 기능 쿼리를 가로채어 업그레이드된 값을 반환합니다. 이를 통해 llama.cpp는 게스트 OS나 하이퍼바이저를 변경하지 않고도 최신 Metal 커널을 선택할 수 있습니다.

벤치마크

• TinyLlama 1.1B (M1 Ultra): 기본 VM 대비 프롬프트 처리 11.08배, 토큰 생성 16.36배 빠름. 프롬프트 처리는 베어메탈의 98%에 도달.
• Gemma 4 12B QAT Q4_0 (6.98 GB): 프롬프트 7.20배, 생성 14.54배 빠름. 베어메탈 프롬프트 속도의 99.59%, 생성 속도의 94.82%에 도달.
• Muse Glimmer 30B Q4_K-M GGUF (64 GiB 게스트, llama.cpp b10359): 512토큰 프롬프트에서 프롬프트 처리 7.55배, 생성 8.87배 빠름.

중요한 이유

이것은 VFIO 의미의 GPU 패스스루가 아닙니다 — 호스트가 여전히 GPU를 소유합니다. 그러나 보수적인 커널 선택을 강제한 기능 잘못 보고를 수정합니다. Tart 사용자들은 macOS 게스트의 그래픽 및 LLM 성능에 대해 유사한 문제를 제기했습니다.

셤은 프로세스 범위이므로 대상 앱에만 영향을 미칩니다. 모든 것은 Lume 및 Cua와 동일한 허용 라이선스로 출시되며, 소스, 빌드 스크립트 및 벤치마크 로그가 포함됩니다.

대상 사용자

Apple Silicon의 macOS VM에서 llama.cpp 또는 기타 Metal 기반 추론을 실행하는 개발자 — 특히 로컬 AI 도구를 구축하거나 VM 이미지와 비교 테스트하는 경우.