Vergleichende Übersicht über die schnelle LLM-Inferenz von Anthropic und OpenAI

Anthropic und OpenAI haben kürzlich 'Schnellmodus'-Funktionen eingeführt, um die Geschwindigkeit ihrer Sprachmodell-Inferenzen zu verbessern. Diese Modi bieten deutlich verbesserte Token-pro-Sekunde-Raten beim Arbeiten mit ihren Codierungsmodellen, unterscheiden sich jedoch erheblich in Ansatz und Möglichkeiten.

Wichtige Details

Anthropics Schnellmodus liefert bis zu 2,5x Tokens pro Sekunde, mit einem Anstieg von Opus 4.6s 65 Tokens auf etwa 170. Diese Verbesserung wird durch die Priorisierung von Inferenz mit niedriger Batch-Größe erreicht. Der Nachteil besteht darin, dass für schnellere Antworten mehr gezahlt werden muss (sechsmal die Kosten), da die reduzierte Batch-Größe eine schnellere Datenverarbeitung ermöglicht, ähnlich einem Bussystem, das sofort abfährt, ohne auf das Füllen zu warten, obwohl dieser Modus weiterhin auf dem tatsächlichen Opus 4.6-Modell läuft.

Im Gegensatz dazu zeigt OpenAI einen deutlich anderen Ansatz und erreicht über 1000 Tokens pro Sekunde, was das 15-fache der vorherigen Rate von GPT-5.3-Codex' Basis 65 Tokens pro Sekunde ist. Dies wird über ihr neues Modell, GPT-5.3-Codex-Spark, erreicht, das speziell für Geschwindigkeit entwickelt wurde, indem Cerebras-Chips verwendet werden. Diese Chips, die sich durch ihre große Größe (70 Quadratzoll im Vergleich zu einem typischen H100-Chip mit einem Quadratzoll) auszeichnen, bieten ultra-niedrig-latenz Compute, indem sie vollständige Modelle in ihrem umfangreichen internen Speicher unterbringen.

Während OpenAIs Einrichtung den erheblichen Geschwindigkeitsvorteil bietet, vollständig im Speicher mit minimierten Datenübertragungsverzögerungen zu arbeiten, geht dies mit einem Kompromiss hinsichtlich der Modellfähigkeiten einher. GPT-5.3-Codex-Spark ist trotz seiner Geschwindigkeitseffizienz weniger leistungsfähig als sein Basis-Gegenstück, insbesondere wenn es darum geht, komplexere Aufgaben oder Toolaufrufe zu bewältigen.

Für wen es gedacht ist

Dieser Vergleich ist besonders relevant für Entwickler, die die Leistung von KI-Systemen optimieren, und bewertet entscheidende Aspekte für diejenigen, die Geschwindigkeit gegen Fähigkeit abwägen.