Im Inneren von vLLM: Anatomie eines Hochdurchsatz-LLM-Inferenzsystems

vLLM ist eine der am weitesten verbreiteten Open-Source-Inferenz-Engines für LLMs, und Aleksa Gordićs aktueller Beitrag bietet eine solide technische Einführung in seine internen Abläufe. Er richtet sich an Entwickler, die neugierig sind, wie moderne LLM-Engines aufgebaut sind, oder die erwägen, zu vLLM, SGLang und ähnlichen Projekten beizutragen. Die Analyse ist an den Commit 42172ad (9. August 2025) gebunden und konzentriert sich auf die neue V1-Engine (V0 ist veraltet).

Kernkomponenten der Engine

Der Artikel beginnt mit dem Offline-Synchron-Setup unter Verwendung eines einfachen LLM-Objekts. Der Engine-Konstruktor wird in mehrere Schlüsselkomponenten zerlegt:

• vLLM-Konfiguration – Alle Einstellungen für Modell, Cache, Parallelität usw.
• Prozessor – Konvertiert rohe Eingaben über Validierung und Tokenisierung in Engine-Core-Anfragen.
• Engine-Core-Client – Im Beispiel ist es ein InprocClient, der prozessintern läuft; für die Produktion würde man zu einem Multiprozess-Client wie DPLBAsyncMPClient wechseln.
• Ausgabeprozessor – Konvertiert Engine-Core-Ausgaben in benutzerfreundliche Anfrageausgaben.

Der Engine-Kern selbst enthält den Modell-Executor (der Vorwärtsdurchläufe ausführt), einen strukturierten Ausgabemanager (für geführte Dekodierung) und einen Scheduler mit Warte-/Laufwarteschlangen. Der Scheduler verwendet eine Richtlinie (FCFS oder Priorität) und enthält den KV-Cache-Manager.

Paged Attention & KV-Cache

Der KV-Cache-Manager ist das Herzstück von Paged Attention. Er verwaltet eine free_block_queue verfügbarer Blöcke, oft Hunderttausende, abhängig von VRAM und Blockgröße. Die Blockgröße für einen Standard-Transformer (nicht-MLA) berechnet sich wie folgt:

2 * block_size * num_kv_heads * head_size * dtype_num_bytes

was bei Standardeinstellungen eine praktische Blockgröße ergibt. Dieser Paging-Mechanismus ermöglicht eine effiziente Speicherverwaltung und hohen Durchsatz.

Fortgeschrittene Funktionen

Der Beitrag bleibt nicht bei den Grundlagen stehen. Er skizziert erweiterte Funktionen, die vLLM produktionsreif machen:

• Chunked Prefill – Teilt lange Prompts in Teilblöcke auf, um sie mit der Generierung zu verschränken.
• Prefix-Caching – Wiederverwendung des KV-Cache für gemeinsame Prompt-Präfixe.
• Geführte Dekodierung – Beschränkt die Ausgabe auf ein Schema oder eine Grammatik.
• Spekulative Dekodierung – Verwendet ein Draft-Modell zur Beschleunigung der Generierung.
• Disaggregiertes P/D – Trennt Prefill und Dekodierung auf verschiedene GPUs.

Außerdem wird die Skalierung auf Multi-GPU- und Multi-Node-Setups behandelt sowie die Serving-Schicht für die Verarbeitung gleichzeitiger Webanfragen. Benchmarks und Auto-Tuning werden zur Messung von Latenz und Durchsatz erwähnt.

Für Entwickler, die LLM-Inferenzsysteme aufbauen oder erweitern, bietet dies ein klares mentales Modell, wie vLLM Planung, Speicher und Ausführung orchestriert. Es ist der erste Teil einer Serie, also erwarten Sie in Zukunft tiefere Einblicke in einzelne Subsysteme.