Claude CLI v2.1.154 bricht lokales vLLM — Einzeiliger Patch behebt es

Claude CLI v2.1.154 hat Unterstützung für Workflows eingeführt, dabei aber drei neue API-Nachrichtenrollen (ctx, msg und system) hinzugefügt, die die Kompatibilität mit lokalen vLLM-Servern gebrochen haben. Der Fix ist eine einzeilige Änderung in vLLMs Anthropic-Protokolldefinitionen.

Das Problem

Claude CLI-Versionen ≥2.1.154 senden jetzt Nachrichten mit Rollen über user und assistant hinaus. vLLMs Anthropic-API-Endpunkt akzeptierte nur die ursprünglichen zwei Rollen, was dazu führte, dass Anfragen von der CLI bei einem lokalen vLLM-Instance fehlschlugen.

Der einzeilige Patch

Der Patch aktualisiert das role-Feld in vllm/entrypoints/anthropic/protocol.py, um die neuen Rollen zu erlauben:

--- a/vllm/entrypoints/anthropic/protocol.py
+++ b/vllm/entrypoints/anthropic/protocol.py
@@ -65,7 +65,7 @@ class AnthropicContentBlock(BaseModel):
 class AnthropicMessage(BaseModel):
     """Message structure"""
-    role: Literal["user", "assistant"]
+    role: Literal["user", "assistant", "ctx", "msg", "system"]

Das war's. Nach Anwendung dieser Änderung können Sie die neuesten Claude CLI-Workflows mit vLLM-basierten lokalen Modellen wie MiniMax-M2.7 (das einzige vom Autor getestete Modell) verwenden.

Wenn Sie einen lokalen anthropic-kompatiblen Endpunkt auf vLLM betreiben, wenden Sie diesen Patch an, um mit Claude CLI ≥2.1.154 weiterzuarbeiten.