Benchmark: Gemma4 12B vs. Qwen3 8B quantisiert auf einem 24GB Mac Mini

Leistungsvergleich zweier lokaler Modelle für OpenClaw

Ein Entwickler führte einen direkten Vergleichstest zwischen Gemma4 12B und Qwen3:8b-q4_K_M auf einem 24GB Mac Mini durch. Der Test verwendete zwei Prompts: "Erkläre, wie ein Vergaser funktioniert" und "Schreibe eine Python-Funktion zur Erkennung von Speicherlecks." Claude half beim Schreiben eines Befehls, um die Ausgabe für Messungen zu durchsuchen.

Benchmark-Ergebnisse

Aufgabe zur Vergasererklärung:

• Qwen3:8b-q4_K_M: Prompt-Auswertung: 89,8 t/s, Generierung: 19,6 t/s
• Gemma4: Prompt-Auswertung: 20,8 t/s, Generierung: 27,6 t/s

Python-Codierungsaufgabe:

• Qwen3:8b-q4_K_M: Prompt-Auswertung: 133,8 t/s, Generierung: 18,7 t/s
• Gemma4: Prompt-Auswertung: 26,1 t/s, Generierung: 26,1 t/s

Wesentliche Erkenntnisse

Qwen3 verarbeitet Prompts 4-5x schneller als Gemma4, was für OpenClaw wichtig ist, da typischerweise große Kontext-Prompts gesendet werden. Gemma4 generiert die Ausgabe etwas schneller. Für viele OpenClaw-Anwendungen gewinnt Qwen3 in puncto Geschwindigkeit. Der Entwickler merkt an, dass Gemma4 ein 12B-Modell ist und möglicherweise etwas bessere Ausgaben liefert, obwohl dies nicht getestet wurde.

Der Entwickler führt verschiedene Aufgaben auf lokalen Modellen aus, darunter Cron-Jobs, Heartbeat-Überwachung, Speicherindizierung und lässt OpenClaw oft Subagenten aufrufen, die lokale Modelle ausführen. Sie testen Gemma4 als lokales Modell für all diese Hintergrundaufgaben, erwarten aber keine spürbaren Leistungsunterschiede, da diese im Hintergrund laufen.