NVIDIA Groq 3 LPX alcanza 3.431 tokens/segundo en pruebas de contexto largo

El acelerador Groq 3 LPX de NVIDIA, diseñado para inferencia interactiva en la plataforma Vera Rubin, ha publicado su primer benchmark de terceros: 3,431 tokens de salida por segundo en el benchmark de contexto de 100K de Artificial Analysis, utilizando el modelo Gemma 4 31B. Este resultado apunta a la capa de servicio de "alta interactividad", la capacidad de respuesta necesaria para sesiones agénticas de múltiples turnos donde el contexto crece hasta cientos de miles de tokens.

Por Qué Contexto Largo + Interactividad es Difícil

Las cargas de trabajo agénticas son de múltiples turnos: cada turno añade salida al contexto, y los turnos posteriores deben reprocesar todo lo anterior. Con más de 100K tokens de entrada, servir a más de 3,000 tokens por segundo por usuario mientras se gestiona una gran caché KV es un desafío de sistemas. El truco estándar, el paralelismo tensorial (TP), divide el cálculo entre chips, pero en los tamaños de lote muy pequeños requeridos para la latencia interactiva, el costo fijo de coordinación (operaciones colectivas) puede consumir la aceleración.

El cuello de botella es la latencia del primer bit, no el ancho de banda. Como se afirma en el artículo, con tensores pequeños el tiempo de transferencia está dominado por la latencia (A) en lugar de la cantidad de datos (N) dividida por el ancho de banda (B).

Enfoque de Groq 3 LPX

Groq 3 LPX resuelve esto con una planificación de carga de trabajo determinista y programada por compilador. El compilador preprograma cuándo cada tensor sale y llega, superponiendo computación y comunicación a una granularidad fina. La red entre chips preplanificada minimiza la latencia del primer bit, haciendo que TP sea efectivo incluso con tamaño de lote 1.

En SPEED-Bench, que mide tareas agénticas y específicas de codificación, Groq 3 LPX alcanzó una mediana de 4,767 tokens de salida por segundo. El sistema también admite múltiples configuraciones de despliegue con Vera Rubin NVL72:

• Desagregación de prefill-decode
• Desagregación de atención-FFN
• Decodificación especulativa con redactor externo

Estas pueden escalar a modelos de billones de parámetros, combinando la interactividad de Groq 3 LPX con el rendimiento de Vera Rubin para fábricas de IA a gran escala.

Para Quién Es Esto

Los desarrolladores que construyen sistemas agénticos que requieren alta interactividad con contexto largo—especialmente aquellos que ejecutan flujos de trabajo multiagente en modelos de más de 2T parámetros—encontrarán este benchmark relevante para la planificación de infraestructura.