LLM-Inferenz: Techniken für die effiziente Grenze

Baseten unterteilt LLM-Inferenztechnik in zwei Kategorien: Techniken, die eine Bereitstellung entlang der Latenz-Durchsatz-Effizienzgrenze bewegen, und Techniken, die die gesamte Grenze nach außen verschieben. Diese Unterscheidung ist wichtig, wenn Sie entscheiden, ob Sie Einstellungen optimieren oder einen neuen Ansatz wählen.

Techniken zur Steuerung von Kompromissen

Diese ermöglichen es Ihnen, einen bestimmten Punkt auf der Grenze anzustreben – etwa Latenz für interaktive Benutzer oder Durchsatz für Batch-Workloads. Die Grenze ist zerklüftet, daher sollten Sie Grenzwerte empirisch ermitteln.

• Batch-Größe – Die Anzahl gleichzeitiger Anfragen. Kleine Batches bieten ausgezeichnete Benutzerlatenz, aber hohe Kosten pro Token. Große Batches verbessern den Durchsatz und senken die Kosten, auf Kosten der Latenz.
• Parallelitätsstrategie – Wie das Modell auf GPUs verteilt wird. Erhöhung der Tensor-Parallelität (TP) senkt die Latenz durch schnelle NVLink-All-to-All-Kommunikation. Experten-Parallelität (EP) kann optimiert werden: niedrigere EP für bessere Latenz, breite EP (über ein Rack) für Durchsatz. Attention-Daten-Parallelität (ADP) repliziert Attention-Schichten, um den Systemdurchsatz zu erhöhen, auf Kosten der Geschwindigkeit pro Anfrage.
• Quantisierung – Betrieb mit niedrigerer Präzision (Gewichte, Aktivierungen, KV-Cache) verbessert Latenz und Durchsatz. Es bringt einen Qualitäts-Effizienz-Kompromiss mit sich, der zerklüftet sein kann – einige Quantisierungsstufen bieten große Serving-Gewinne bei geringem Qualitätsverlust.

Techniken, die die Grenze nach außen verschieben

Diese schaffen mehr Spielraum, den Sie nach Belieben zuweisen können. Baseten nennt Beispiele wie bessere Hardware oder algorithmisch effizientere Aufmerksamkeitsmechanismen.

Der Artikel geht davon aus, dass Sie ein Modell wie GLM-5.3 oder Kimi K3 für agentisches Programmieren verwenden, mit bereits aktivierter KV-Cache-Wiederverwendung und KV-bewusstem Routing.

Für einen tieferen Einblick, welche Techniken in welche Kategorie fallen und wie Sie die Kompromisse messen, lesen Sie den vollständigen Beitrag.