Einrichtung von Qwen3.5-27B lokal: Vergleich zwischen vLLM und llama.cpp

Qwen3.5-27B Leistung und Fähigkeiten
Das Qwen3.5-27B-Modell zeigt laut Quelle starke Leistung in verschiedenen Benchmarks: MMLU-Pro: 85.3, MMLU-Redux: 93.3, C-Eval: 90.2, Gesamtintelligenzscore: 42.1 (besser als 91% der verglichenen Modelle) und Coding-Index: 34.9 (übertrifft 88% in Coding-Fähigkeiten). Das Modell verfügt über eine dichte Architektur mit nativem 262k-Kontext, der auf 1M+ Tokens erweiterbar ist.
Backend-Vergleich: llama.cpp vs vLLM
Die Quelle vergleicht zwei Hauptansätze für lokales Deployment:
Option 1: llama.cpp
- Vorteile: Geringer Ressourcenverbrauch, einfache Einrichtung, unterstützt q4-KV-Cache für angemessenen VRAM-Verbrauch
- Nachteile: Hauptproblem: KV-Cache wird zufällig gelöscht, was mitten in der Sitzung eine vollständige Neuverarbeitung des Prompts erzwingt. Spekulative Decodierung via MTP funktioniert nicht. Bekannter Bug ohne solide Lösungen bisher.
Option 2: vLLM
- Vorteile: Stabile Sitzungen, keine KV-Löschungen, unterstützt spekulative Decodierung mit MTP für schnellere Generierungen
- Nachteile: Kein q4-KV-Support, daher VRAM-Spitzen bei 256k-Kontext. Tool-Call-Parsing ist für Qwen3.5 in v0.17.1 fehlerhaft, mit Korrekturen in offenen GitHub-PRs, aber noch nicht zusammengeführt. Dies unterbricht agentische Coding-Abläufe mit fehlerhaften JSON-Ausgaben.
Empfohlene vLLM-Konfiguration
Die Quelle gibt spezifische Konfigurationsempfehlungen für stabile, schnelle Läufe mit dem Modell von HF: osoleve/Qwen3.5-27B-Text-NVFP4-MTP:
- Flashinfer-Cutlass-Backend für optimierte Leistung verwenden
- Kontextfenster auf 128k setzen (balanciert VRAM und Nutzbarkeit; bei entsprechender Hardware auf 256k erhöhen)
- GPU-Auslastung auf 0.82 begrenzen, um OOM-Abstürze zu vermeiden
- Max-num-seq auf 2 setzen (handhabt eine einzelne Sitzung gut ohne Überlastung)
- MTP-spekulative Decodierung für Geschwindigkeitsverbesserungen aktivieren
- vLLM mit den Qwen-Tool-Call-Parsing-Korrekturen aus den offenen PRs patchen
- Claude-Code-Cli verwenden – offener Code hat immer noch Tool-Call-Parsing-Probleme, die nach dem Patch bei Claude-Code nicht auftreten
Leistungsergebnisse
Laut Quelle variiert die Leistung je nach Hardware:
- Auf einer RTX 5090 (32GB VRAM): ~50 TPS
- Auf einer RTX Pro 6000 (96GB VRAM): 70 TPS bei vollem 256k-Kontext
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch

Dokumentation zum Schreiben von MCP-Tools in C# .NET Framework für Claude Desktop/Code
Vollständige Dokumentation und C#-Codebeispiele zur Erstellung benutzerdefinierter MCP-Tools mit .NET Framework 4.8, die es Claude Desktop/Code ermöglichen, Interaktionen mit externen Prozessen, Software, APIs und IoT-Geräten zu automatisieren.

OpenClaw-Projektbetriebssystem: Multi-Projekt-Management-Framework
Ein Framework, das Projekte mit standardisierten Verzeichnissen isoliert, Cron für die Automatisierung anstelle von Agenten für vorhersehbare Aufgaben verwendet und verbindliche Backup-Protokolle implementiert, um den Token-Verbrauch zu reduzieren und die Ausführungskonsistenz zu verbessern.

OpenClaw-Integration mit WhatsApp Cloud API
Ein Entwickler hat OpenClaw so konfiguriert, dass es direkt über Metas offizielle Cloud-API mit WhatsApp kommuniziert, und den Einrichtungsprozess dokumentiert, um anderen zu helfen, verstreute Dokumentation zu vermeiden.

OpenClaw Docker-Benutzer: Fixen Sie defekte Discord- und Kanalerweiterungen, indem Sie auf Commit 0c926a2c5 pinnen
Nach einem Update von OpenClaw über Docker schlagen Kanalerweiterungen wie Discord, Signal und WhatsApp mit Modulimportfehlern fehl. Das Problem geht auf Commit d9c285e93 und einen zweiten Docker-spezifischen Bug zurück. Für eine stabile Problemumgehung auf Commit 0c926a2c5 festnageln.