Benchmark : Gemma4 12B contre Qwen3 8B quantifié sur Mac Mini 24 Go

Comparaison des performances de deux modèles locaux pour OpenClaw

Un développeur a réalisé un test comparatif entre Gemma4 12B et Qwen3:8b-q4_K_M sur un Mac Mini 24GB. Le test a utilisé deux prompts : "expliquer comment fonctionne un carburateur" et "écrire une fonction Python pour détecter les fuites de mémoire". Claude a aidé à écrire une commande pour extraire les mesures de la sortie.

Résultats des benchmarks

Tâche d'explication du carburateur :

• Qwen3:8b-q4_K_M : Évaluation du prompt : 89,8 t/s, Génération : 19,6 t/s
• Gemma4 : Évaluation du prompt : 20,8 t/s, Génération : 27,6 t/s

Tâche de codage Python :

• Qwen3:8b-q4_K_M : Évaluation du prompt : 133,8 t/s, Génération : 18,7 t/s
• Gemma4 : Évaluation du prompt : 26,1 t/s, Génération : 26,1 t/s

Principales conclusions

Qwen3 traite les prompts 4 à 5 fois plus vite que Gemma4, ce qui est important pour OpenClaw en raison des prompts de contexte généralement volumineux envoyés. Gemma4 génère la sortie légèrement plus rapidement. Pour de nombreuses utilisations d'OpenClaw, Qwen3 l'emporte en vitesse. Le développeur note que Gemma4 est un modèle 12B et pourrait produire une sortie légèrement meilleure, bien que cela n'ait pas été testé.

Le développeur exécute diverses tâches sur des modèles locaux, y compris des tâches cron, la surveillance de l'activité, l'indexation de la mémoire, et fait souvent appel à OpenClaw pour lancer des sous-agents exécutant des modèles locaux. Il teste Gemma4 comme modèle local pour toutes ces tâches en arrière-plan, mais ne s'attend pas à remarquer des différences de performance puisque celles-ci s'exécutent en arrière-plan.