NVIDIA Groq 3 LPX erreicht 3.431 Tokens/Sekunde in Long-Context-Benchmarks

NVIDIAs Groq 3 LPX, der interaktive Inferenzbeschleuniger für die Vera-Rubin-Plattform, hat seinen ersten Drittanbieter-Benchmark veröffentlicht: 3.431 Ausgabe-Token pro Sekunde im 100K-Kontext-Benchmark von Artificial Analysis mit dem Modell Gemma 4 31B. Dieses Ergebnis zielt auf die Stufe "hohe Interaktivität" ab – die Art von Reaktionsfähigkeit, die für mehrstufige agentische Sitzungen benötigt wird, bei denen der Kontext auf Hunderttausende von Token anwächst.

Warum langer Kontext + Interaktivität schwierig ist

Agentische Workloads sind mehrstufig: Jede Runde fügt Ausgabe zum Kontext hinzu, und spätere Runden müssen alles zuvor Verarbeitete erneut verarbeiten. Bei 100.000+ Eingabe-Token ist es eine systemische Herausforderung, pro Benutzer über 3.000 Token pro Sekunde zu liefern und gleichzeitig einen großen KV-Cache zu verwalten. Der übliche Trick – Tensor-Parallelität (TP) – verteilt die Berechnung auf Chips, aber bei den sehr kleinen Batch-Größen, die für interaktive Latenz erforderlich sind, kann der Fixkostenaufwand für die Koordination (kollektive Operationen) den Geschwindigkeitsgewinn zunichtemachen.

Der Engpass ist die Latenz des ersten Bits, nicht die Bandbreite. Wie der Artikel sagt, wird die Übertragungszeit bei kleinen Tensoren durch die Latenz (A) und nicht durch die Datenmenge (N) geteilt durch die Bandbreite (B) dominiert.

Der Ansatz von Groq 3 LPX

Groq 3 LPX löst dies mit deterministischer, compiler-geplanter Workload-Planung. Der Compiler plant im Voraus, wann jeder Tensor abgeschickt wird und ankommt, und überlappt Berechnung und Kommunikation in feiner Granularität. Vorausgeplante Chip-zu-Chip-Netzwerke minimieren die Latenz des ersten Bits und machen TP auch bei Batch-Größe 1 effektiv.

Im SPEED-Bench, der agentische und coding-spezifische Aufgaben misst, erreichte Groq 3 LPX einen Median von 4.767 Ausgabe-Token pro Sekunde. Das System unterstützt auch mehrere Bereitstellungskonfigurationen mit Vera Rubin NVL72:

• Prefill-Decode-Disaggregation
• Attention-FFN-Disaggregation
• Spekulative externe Drafter-Decodierung

Diese können auf Modelle mit mehreren Billionen Parametern skaliert werden und kombinieren die Interaktivität von Groq 3 LPX mit dem Durchsatz von Vera Rubin für KI-Fabriken in großem Maßstab.

Für wen das gedacht ist

Entwickler, die agentische Systeme bauen, die hohe Interaktivität mit langem Kontext erfordern – insbesondere diejenigen, die Multi-Agent-Workflows mit Modellen über 2 Billionen Parametern ausführen – werden diesen Benchmark für die Infrastrukturplanung als relevant erachten.