NVIDIA DGX Spark Community startet Spark Arena für reproduzierbare LLM-Benchmarks

Die NVIDIA DGX Spark Community hat Spark Arena etabliert, eine reproduzierbare Benchmarking-Plattform für Open-Weight Large Language Models auf DGX Spark Hardware, die frühere Probleme mit inkonsistenter Berichterstattung angeht.

Hintergrund und Problemstellung

NVIDIA begann Mitte Oktober 2025 mit dem Versand von DGX Spark als Desktop-Box mit vereinheitlichtem Speicher, die in der Lage ist, große Modelle lokal auszuführen, einschließlich ~200B-Parameter-Modellen für Inferenz. Die Community identifizierte ein wiederkehrendes Problem, bei dem "jeder nur Teil-Ergebnisse postet, die zwei Wochen später niemand mehr reproduzieren kann".

Standardisierte Methodik

Am 14. Oktober 2025 postete u/ggerganov einen DGX Spark Leistungsthread in llama.cpp mit einer klaren Methodik: Messung von Prefill (pp) und Generation/Decode (tg) über mehrere Kontexttiefen und Batch-Größen hinweg, unter Verwendung von llama.cpp CUDA Builds mit llama-bench und llama-batched-bench.

Community-Lösung

Die Community einigte sich auf standardisierte Tools für Runtime-Image-Building, Orchestrierung und Rezept-Format und startete Spark Arena am 11. Februar 2026.

Aktuelle Leistungsführer

Top Decode-Tokens/Sekunde Ergebnisse von Spark Arena:

• gpt-oss-120b (vLLM, MXFP4, 2 Nodes): 75.96 Tok/s
• Qwen3-Coder-Next (SGLang, FP8, 2 Nodes): 60.51 Tok/s
• gpt-oss-120b (vLLM, MXFP4, Single Node): 58.82 Tok/s
• NVIDIA-Nemotron-3-Nano-30B-A3B (vLLM, NVFP4, Single Node): 56.11 Tok/s

Praktische Implikationen

Dieser standardisierte Ansatz liefert Entwicklern zuverlässige Leistungsdaten für die Auswahl und Konfiguration von Open-Weight-LLMs auf DGX Spark Hardware und ermöglicht besser informierte Entscheidungen über Modelleinsatz und -optimierung.