Einrichtung von Qwen3.5-27B lokal: Vergleich zwischen vLLM und llama.cpp

Qwen3.5-27B Leistung und Fähigkeiten
Das Qwen3.5-27B-Modell zeigt laut Quelle starke Leistung in verschiedenen Benchmarks: MMLU-Pro: 85.3, MMLU-Redux: 93.3, C-Eval: 90.2, Gesamtintelligenzscore: 42.1 (besser als 91% der verglichenen Modelle) und Coding-Index: 34.9 (übertrifft 88% in Coding-Fähigkeiten). Das Modell verfügt über eine dichte Architektur mit nativem 262k-Kontext, der auf 1M+ Tokens erweiterbar ist.
Backend-Vergleich: llama.cpp vs vLLM
Die Quelle vergleicht zwei Hauptansätze für lokales Deployment:
Option 1: llama.cpp
- Vorteile: Geringer Ressourcenverbrauch, einfache Einrichtung, unterstützt q4-KV-Cache für angemessenen VRAM-Verbrauch
- Nachteile: Hauptproblem: KV-Cache wird zufällig gelöscht, was mitten in der Sitzung eine vollständige Neuverarbeitung des Prompts erzwingt. Spekulative Decodierung via MTP funktioniert nicht. Bekannter Bug ohne solide Lösungen bisher.
Option 2: vLLM
- Vorteile: Stabile Sitzungen, keine KV-Löschungen, unterstützt spekulative Decodierung mit MTP für schnellere Generierungen
- Nachteile: Kein q4-KV-Support, daher VRAM-Spitzen bei 256k-Kontext. Tool-Call-Parsing ist für Qwen3.5 in v0.17.1 fehlerhaft, mit Korrekturen in offenen GitHub-PRs, aber noch nicht zusammengeführt. Dies unterbricht agentische Coding-Abläufe mit fehlerhaften JSON-Ausgaben.
Empfohlene vLLM-Konfiguration
Die Quelle gibt spezifische Konfigurationsempfehlungen für stabile, schnelle Läufe mit dem Modell von HF: osoleve/Qwen3.5-27B-Text-NVFP4-MTP:
- Flashinfer-Cutlass-Backend für optimierte Leistung verwenden
- Kontextfenster auf 128k setzen (balanciert VRAM und Nutzbarkeit; bei entsprechender Hardware auf 256k erhöhen)
- GPU-Auslastung auf 0.82 begrenzen, um OOM-Abstürze zu vermeiden
- Max-num-seq auf 2 setzen (handhabt eine einzelne Sitzung gut ohne Überlastung)
- MTP-spekulative Decodierung für Geschwindigkeitsverbesserungen aktivieren
- vLLM mit den Qwen-Tool-Call-Parsing-Korrekturen aus den offenen PRs patchen
- Claude-Code-Cli verwenden – offener Code hat immer noch Tool-Call-Parsing-Probleme, die nach dem Patch bei Claude-Code nicht auftreten
Leistungsergebnisse
Laut Quelle variiert die Leistung je nach Hardware:
- Auf einer RTX 5090 (32GB VRAM): ~50 TPS
- Auf einer RTX Pro 6000 (96GB VRAM): 70 TPS bei vollem 256k-Kontext
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch

OpenClaw Agent Kostenanalyse: Von 340 $ auf 112 $ monatlich mit fünf Optimierungen
Ein Entwickler verfolgte 30 Tage lang 18.000 API-Aufrufe über vier OpenClaw-Agenten und stellte fest, dass 70 % der Aufgaben GPT-4.1 nicht benötigten. Durch die Implementierung von Prompt-Caching, kürzeren Systemprompts, gebündelten Analysen, der Umstellung auf günstigere Modelle und der Einführung von Token-Limits sanken die Kosten von 340 $ auf 112 $ monatlich.

Verstehen der KI-Agenten-Architektur: Deterministische vs. probabilistische Schichten
Ein Reddit-Nutzer teilt ein mentales Modell für KI-Agentensysteme, das deterministische Schichten (Skripte, Befehle, APIs) von probabilistischen Schichten (LLM-Schlussfolgerungen und Entscheidungen) trennt. Die zentrale Erkenntnis: Verlagerung möglichst vieler Aufgaben auf die deterministische Seite.

OpenClaw: Dein ultimativer Schnellreferenz-Spickzettel
Tauchen Sie mit unserem praktischen Referenz-Handbuch in die Details von OpenClaw ein. Extrahieren Sie wichtige Funktionen und Merkmale, um Ihr KI-Coding-Erlebnis zu optimieren.

OpenClaw-Integration mit WhatsApp Cloud API
Ein Entwickler hat OpenClaw so konfiguriert, dass es direkt über Metas offizielle Cloud-API mit WhatsApp kommuniziert, und den Einrichtungsprozess dokumentiert, um anderen zu helfen, verstreute Dokumentation zu vermeiden.