Apples libibverbs verbirgt GPUDirect RDMA-Symbole; Zero-Copy Metal Buffer RDMA funktioniert unter macOS

Ein Follow-up zur TinyGPU-Untersuchung zeigt, dass Apples RDMA-Implementierung Zero-Copy-Speicherfreigabe mit Metal-GPU-Puffern unterstützt, und versteckte Symbole deuten auf mögliche GPUDirect-RDMA-Unterstützung hin – undokumentiert und bisher unbekannt.

Wesentliche Erkenntnisse

Der Entwickler testete ibv_reg_mr() mit verschiedenen Speichertypen auf einem 4-Knoten-Mac-Cluster (3x M3 Ultra + M5 Max MacBook Pro, ~1,5 TB Unified Memory, Thunderbolt 5). Ergebnisse:

• malloc() – FEHLGESCHLAGEN (unerwartet; funktioniert unter Linux)
• posix_memalign() – FEHLGESCHLAGEN (unerwartet)
• mmap(MAP_ANON) – BESTANDEN (erwartet)
• IOSurfaceGetBaseAddress() – BESTANDEN (keine Dokumentation)
• MTLBuffer.contents (Metal Shared) – BESTANDEN (keine Dokumentation)

Apples RDMA validiert den VM-Mapping-Typ, nicht die physische Unterstützung. Heap-Allokationen schlagen fehl; VM-gemappter Speicher (mmap, IOSurface, Metal-Puffer) besteht – ein wesentlicher Unterschied zu Linux.

Zero-Copy nachgewiesen

Ein 64-MB-mmap-Puffer wurde dreifach registriert: als RDMA-Speicherregion, als Metal-GPU-Puffer und als IOSurface. Alle Registrierungen waren erfolgreich mit demselben lkey=0x101, was Zero-Copy-Freigabe zwischen GPU und Netzwerk bestätigt.

Versteckte GPUDirect-RDMA-Symbole

Die Analyse von Apples libibverbs.dylib mittels nm -a zeigte undokumentierte Symbole, darunter ibv_reg_dmabuf_mr, das unter Linux GPUDirect RDMA ermöglicht. Dies deutet darauf hin, dass Apple bereits die Kernel-Infrastruktur implementiert hat, die API jedoch nicht öffentlich zugänglich ist.

Blackwell-eGPU-Status

Die RTX PRO 5000 Blackwell 72 GB in einem Razer Core X V2 wird erkannt (PCIe-Link aktiv, x4 @ 16 GT/s, 80 Gb/s TB5), und der DriverKit-Treiber von TinyGPU wird geladen. Allerdings schlägt die GSP-Firmware von NVIDIA mit RuntimeError: RPC call 4097 failed with result 101 fehl. Die NOCAT-Fehlerdekodierung ergibt FBFLCN UNRECOGNIZED_CLIENT – der Speicher-Fabric der GPU erkennt den PCIe-Peer über TB5 nicht. Dies ist ein bekanntes Problem (tinygrad#15843); AMD-GPUs funktionieren einwandfrei. Der Entwickler bittet um Zusammenarbeit mit dem tinygrad-Team, um die GSP-Firmware-Initialisierung über TB5 zu reparieren.

Für wen dies relevant ist

Entwickler, die an macOS-GPU-Computing, RDMA oder eGPU-Infrastruktur arbeiten, insbesondere solche, die an Zero-Copy-Datenpfaden für verteilte Inferenz oder Training interessiert sind.