Claude Code offline auf einem M3 Pro mit Qwen3.6 ausführen: 4 Korrekturen, die es zum Laufen brachten

Claude Code verbindet sich mit einem lokalen Modell auf einem Apple M3 Pro (18 GPU-Kerne, 36 GiB Unified Memory, ~150 GB/s Bandbreite), das qwen3.6:35b-a3b-coding-nvfp4 ausführt – ein 35,1B-Parameter-MoE-Modell mit ~3B aktiven Parametern pro Token, NVFP4-quantisiert, ~21 GB auf der Platte und ~20 GiB im Arbeitsspeicher. Der Aufbau durchlief einen Kubernetes-Incident von der Untersuchung bis zum PR: Root Cause gefunden, Patch geschrieben, Branch gepusht, PR via gh eingereicht – alles ohne Internetanbindung. Vier Fixes verwandelten ein Modell, das nach 10 Minuten eine Zeitüberschreitung hatte, in eines, das den Kreislauf schließt. Die Geschwindigkeit ist hardwarebegrenzt; die Fähigkeiten sind es nicht.

Stack und Umgebung

• Hardware: Apple M3 Pro, 18 GPU-Kerne, 36 GiB Unified Memory, ~150 GB/s Speicherbandbreite
• Modell: qwen3.6:35b-a3b-coding-nvfp4
• Laufzeit: Ollama 0.24.0, MLX-Runner (Apple-Silicon-nativ)
• Client: Claude Code v2.1.84, zeigt auf lokalen Ollama-Endpunkt

Wichtige Umgebungsvariablen (in einer launchd-plist für Persistenz gesetzt):

OLLAMA_MLX=1
OLLAMA_CONTEXT_LENGTH=32768
OLLAMA_FLASH_ATTENTION=1
OLLAMA_MULTIUSER_CACHE=1
OLLAMA_KEEP_ALIVE=24h
OLLAMA_NO_CLOUD=1

Einrichtungsschritte

1. Installiere Ollama 0.24.0+
2. ollama pull qwen3.6:35b-a3b-coding-nvfp4 (~21 GB einmalig)
3. Starte den Server mit den obigen Umgebungsvariablen
4. Starte Claude Code:
   ANTHROPIC_BASE_URL=http://localhost:11434 MAX_THINKING_TOKENS=0 claude --model qwen3.6:35b-a3b-coding-nvfp4
5. Rauchtest: Run kubectl get pods -A and tell me if anything appears unhealthy

Leistungshinweise

Erster Toolaufruf: Sekunden (Thinking deaktiviert). Prefill (Laden von ~25.000 Token) dauert ~60 s. Nachfolgende Iterationen sind dank Prefix-Caching (OLLAMA_MULTIUSER_CACHE) schneller. Das Modell bleibt via OLLAMA_KEEP_ALIVE=24h geladen. Eine Flut von 404ern im Ollama-Log während des Prefill ist normal (Fix #4).

Die MoE-Architektur ist der Schlüssel: Nur ~3B aktive Parameter pro Token, daher ähnelt die Laufzeitkosten einem 14B dichten Modell, während die Antworten an ein 35B-Modell heranreichen. Ein dichtes 35B-Modell passt nicht in 36 GiB.