NVIDIA DGX Spark Community lanza Spark Arena para benchmarks reproducibles de LLM.

La comunidad NVIDIA DGX Spark ha establecido Spark Arena, una plataforma de evaluación reproducible para modelos de lenguaje grandes de pesos abiertos en hardware DGX Spark, abordando problemas anteriores con informes inconsistentes.

Antecedentes y Problema

NVIDIA comenzó a enviar DGX Spark a mediados de octubre de 2025 como una caja de escritorio con memoria unificada capaz de ejecutar modelos grandes localmente, incluidos modelos de ~200B parámetros para inferencia. La comunidad identificó un problema recurrente donde "todos publican resultados parciales, y luego nadie puede reproducirlos dos semanas después".

Metodología Estandarizada

El 14 de octubre de 2025, u/ggerganov publicó un hilo de rendimiento de DGX Spark en llama.cpp con una metodología clara: medir prellenado (pp) y generación/decoficación (tg) en múltiples profundidades de contexto y tamaños de lote, utilizando compilaciones CUDA de llama.cpp con llama-bench y llama-batched-bench.

Solución Comunitaria

La comunidad acordó herramientas estandarizadas para la construcción de imágenes de tiempo de ejecución, orquestación y formato de recetas, lanzando Spark Arena el 11 de febrero de 2026.

Líderes Actuales de Rendimiento

Principales resultados de tokens/seg de decodificación de Spark Arena:

• gpt-oss-120b (vLLM, MXFP4, 2 nodos): 75.96 tok/s
• Qwen3-Coder-Next (SGLang, FP8, 2 nodos): 60.51 tok/s
• gpt-oss-120b (vLLM, MXFP4, nodo único): 58.82 tok/s
• NVIDIA-Nemotron-3-Nano-30B-A3B (vLLM, NVFP4, nodo único): 56.11 tok/s

Implicaciones Prácticas

Este enfoque estandarizado proporciona a los desarrolladores datos de rendimiento confiables para seleccionar y configurar LLM de pesos abiertos en hardware DGX Spark, permitiendo decisiones mejor informadas sobre implementación y optimización de modelos.