Qwen3.6:27b + Custom Go-Agent: Eine lokale Alternative zu Claude Code
Ein Entwickler (codehamr), der ein Geschäft mit lokalen LLM-Integrationen betreibt, beschreibt Experimente mit lokalen Modellen als Fallback für Claude Code. Er berichtet, dass Qwen3.6:27b bei Q8 auf einer RTX 6000 mit 96 GB und 128k Kontext eine ähnliche Programmiererfahrung wie Claude Code bietet, und stellt fest, dass eine Consumer-RTX 5090 mit 32 GB bei Q4_M vergleichbare Ergebnisse erzielen kann.
Für die Agentenebene hat er ein minimales, einzelnes Go-Binary namens codehamr (MIT Open Source) erstellt – keine Plugins, kein MCP, keine Themes. Der Agent erledigt Suche, Abhängigkeiten und Dateiarbeiten über Bash bei Bedarf. Das Repository ist verfügbar unter: https://github.com/codehamr/codehamr
Wichtige Details
- Modell: Qwen3.6:27b bei Q8-Quantisierung, läuft auf RTX 6000 (96 GB) mit 128k Kontext – überdimensioniert für ein 30B-Modell.
- Consumer-Alternative: RTX 5090 (32 GB) bei Q4_M sollte mit guter Prompt-Disziplin eine ähnliche Programmiererfahrung bieten.
- Agent-Build: Benutzerdefiniertes Go-Binary – minimal, keine Plugins, kein MCP. Verwendet Bash für Suche, Abhängigkeiten, Dateioperationen.
- Lizenz: MIT Open Source, zum Forken oder Ignorieren verfügbar.
Der Entwickler betont, dass jeder Schritt in Richtung lokaler LLMs die Abhängigkeit von Cloud-Tools reduziert. Dieses Setup ist in Kombination mit disziplinierter Prompt-Gestaltung die erste lokale Konfiguration, bei der er Claude Code nicht vermisst.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Persistente Seitenleiste für Claude Code mit autonomer Inhaltsverwaltung
Ein Entwickler hat ein TUI-Panel erstellt, das in einem iTerm2-Split-Paneel neben dem Terminal platziert ist und drei feste Panels umfasst, die Claude autonom verwaltet, um relevante Inhalte wie Code, Diagramme und Statusupdates anzuzeigen.
NexQuant: Rust-native 3-Bit-KV-Cache-Engine für Edge-Bereitstellung
NexQuant ist eine produktionserprobte Rust-Engine, die das Ausführen von Modellen mit hohem Kontext auf Consumer-Hardware mit einer 3-5-fachen Speicherreduzierung ermöglicht. Sie unterstützt Metal-, CUDA-, Vulkan- und CPU-Backends.
MCP-Gateway für sicheren Fernzugriff auf interne Tools
Ein Open-Source-MCP-Gateway aggregiert mehrere MCP-Tool-Server in einer einzigen Verbindung und ermöglicht so einen sicheren Zugriff über Claude Desktop, ohne öffentliche Endpunkte freizulegen. Es nutzt OpenZiti/zrok für Zero-Trust-Netzwerke und erfordert nur einen Konfigurationseintrag mit einem Share-Token.
OpenClaw Lokaler Agent mit TurboQuant-Caching für Mittelklasse-Hardware
Eine One-Click-App für OpenClaw mit lokalen Modellen läuft jetzt auf Mittelklasse-Geräten wie dem MacBook Air mit 16 GB RAM dank TurboQuant-Caching und Kontextvorwärmung. Die Implementierung patcht llama.cpp für zuverlässiges Tool-Calling und erreicht 10-15 Tokens pro Sekunde mit Gemma 4 und QWEN 3.5.