12 GB VRAM Benchmarks: Ausführen von Qwen 3.6 und Gemma 4 Modellen auf einer RTX 4070 Super

Ein Reddit-Nutzer hat Geschwindigkeits-Benchmarks für den Betrieb mehrerer großer MoE-Modelle auf einer 12 GB RTX 4070 Super (mit +10% OC) veröffentlicht, gepaart mit einer AMD 9800X3D CPU und 64 GB DDR5-6000 RAM. Der Nutzer lagert die Anzeige auf die iGPU aus, um VRAM zu sparen, und stellt einen Leistungseinbußen von etwa 10% fest, falls dies nicht geschieht. Das Setup verwendet CUDA 13.1 und die neueste llama.cpp mit folgender Hardware-Konfiguration:
n-gpu-layers = 999
threads = 8
threads-batch = 16
batch-size = 4096
ubatch-size = 4096
ctx-size = 65536
flash-attn = true
Benchmark-Ergebnisse
Der Nutzer testete vier Modelle über Unsloth GGUF Quants in VS Code mit Cline und KiloCode (keine Tool-Call-Probleme). Alle Messungen sind in Tokens pro Sekunde (tgs) und Verarbeitung pro Sekunde (pps).
- Qwen3.6-35B-A3B-GGUF Q6_K_XL: 40 tgs, 2100 pps
- Qwen3.6-27B-IQ3_XXS: 16 tgs, 1000 pps
- Gemma 4 26B-A4B-it-UD-Q8: 26 tgs, 2150 pps
- Gemma-4-31B-it-IQ3_XXS: 13-16 tgs, 650 pps
Bemerkenswerte Konfigurationsdetails
Der Nutzer teilte individuelle Modellkonfigurationen mit spezifischer Optimierung. Die wichtigsten Punkte:
- Für Qwen3.6-35B-A3B:
n-cpu-moe = 35(lagert 35 MoE-Experten auf die CPU aus),cache-type-k = q8_0,cache-type-v = q8_0,swa-full = true,cache-reuse = 512, Kontextgröße 131072, Reasoning aktiviert mit Budget 8096. - Für Gemma 4 26B:
n-cpu-moe = 27, Kontext 102400,fit = onmitfit-target = 256undfit-ctx = 32768. - Für Gemma 4 31B: Verwendet spekulatives Decodieren mit
ngram-mod(spec-type = ngram-mod),n-gpu-layers = 58(teilweises GPU-Offloading),cache-type-k = q4_0,no-kv-offload = true. - Alle Modelle verwenden
flash-attn = trueundno-mmproj-offload = true.
Das bevorzugte Modell des Nutzers für die Webentwicklung ist Qwen3.6-35B-A3B, das er für seine Qualität und das Fehlen von Tool-Call-Problemen in VS Code-Erweiterungen lobt.
📖 Vollständige Quelle lesen: r/LocalLLaMA
👀 Siehe auch

Aufteilung des Agentenkontexts in drei Ebenen zur Lösung des 700-Zeilen-Monolithen-Problems
Ein Team, das ein 6-Agenten-autonomes System aufbaut, löste das Problem des aufgeblähten Kontextdateien-Volumens, indem es den Agentenkontext in drei Ebenen aufteilte, basierend auf der Art der Anforderung und der Änderungshäufigkeit: CLAUDE.md für die Identität, BRIEFING.md für die Mission und PLAYBOOK.md für den Betrieb. Dieser Ansatz verhindert stille Fehler durch Argumentgrenzen und macht die Bearbeitung vorhersehbar.

So importieren Sie Ihren ChatGPT-Verlauf in Claude mit Projekten
Exportieren Sie ChatGPT-Chats als Markdown-Dateien und laden Sie die relevanten in Claude-Projekte, um jahrelange Kontexte, laufende Projekte und Stilpräferenzen zu übertragen.

Claude für Bewegungsgrafiken: Prompt-Muster für animierte HTML-Visuals, die Sie als Video aufnehmen können
Ein r/ClaudeAI-Nutzer teilt eine zuverlässige Prompt-Struktur, um animierte Bewegungsgrafiken und interaktive Diagramme als HTML-Widgets von Claude zu generieren und sie dann mit Playwright + ffmpeg als MP4 aufzunehmen.

Anleitung: Bereitstellung von OpenClaw mit llama.cpp auf dem GEEKOM IT15 Mini-PC
Eine technische Schritt-für-Schritt-Anleitung beschreibt den Wechsel von OpenClaw von Ollama zu llama.cpp, um ein lokales Qwen3-8B-Modell mit Intel Arc GPU-Beschleunigung auszuführen. Sie behandelt Konfigurationsänderungen, manuelle Serververwaltung und die Fehlerbehebung bei häufigen Problemen.