Benchmark : Gemma4 12B contre Qwen3 8B quantifié sur Mac Mini 24 Go
Comparaison des performances de deux modèles locaux pour OpenClaw
Un développeur a réalisé un test comparatif entre Gemma4 12B et Qwen3:8b-q4_K_M sur un Mac Mini 24GB. Le test a utilisé deux prompts : "expliquer comment fonctionne un carburateur" et "écrire une fonction Python pour détecter les fuites de mémoire". Claude a aidé à écrire une commande pour extraire les mesures de la sortie.
Résultats des benchmarks
Tâche d'explication du carburateur :
- Qwen3:8b-q4_K_M : Évaluation du prompt : 89,8 t/s, Génération : 19,6 t/s
- Gemma4 : Évaluation du prompt : 20,8 t/s, Génération : 27,6 t/s
Tâche de codage Python :
- Qwen3:8b-q4_K_M : Évaluation du prompt : 133,8 t/s, Génération : 18,7 t/s
- Gemma4 : Évaluation du prompt : 26,1 t/s, Génération : 26,1 t/s
Principales conclusions
Qwen3 traite les prompts 4 à 5 fois plus vite que Gemma4, ce qui est important pour OpenClaw en raison des prompts de contexte généralement volumineux envoyés. Gemma4 génère la sortie légèrement plus rapidement. Pour de nombreuses utilisations d'OpenClaw, Qwen3 l'emporte en vitesse. Le développeur note que Gemma4 est un modèle 12B et pourrait produire une sortie légèrement meilleure, bien que cela n'ait pas été testé.
Le développeur exécute diverses tâches sur des modèles locaux, y compris des tâches cron, la surveillance de l'activité, l'indexation de la mémoire, et fait souvent appel à OpenClaw pour lancer des sous-agents exécutant des modèles locaux. Il teste Gemma4 comme modèle local pour toutes ces tâches en arrière-plan, mais ne s'attend pas à remarquer des différences de performance puisque celles-ci s'exécutent en arrière-plan.
📖 Read the full source: r/openclaw
👀 See Also
GoModel : Une passerelle d'IA légère et open-source écrite en Go
GoModel est une passerelle IA open-source qui fournit une API unifiée compatible OpenAI pour plusieurs fournisseurs, notamment OpenAI, Anthropic, Gemini, Groq, xAI et Ollama. Il propose une image Docker de 17 Mo, 44 fois plus légère que LiteLLM, avec une configuration priorisant les variables d'environnement et une observabilité intégrée.
Deux mois avec Spec-Kit de GitHub et Claude Code : ce qui fonctionne, ce qui ne fonctionne pas
Un développeur partage des notes pratiques sur l'utilisation de la boîte à outils Spec-Driven Development de GitHub avec Claude Code, couvrant le flux de travail en cinq phases, les problèmes de dérive, les compromis de surcharge et les conseils de configuration.
Contourner l'isolation du bac à sable NemoClaw pour l'agent local Nemotron 9B
Un développeur a contourné l'isolation sandbox de NemoClaw pour exécuter un agent entièrement local en utilisant Nemotron 9B avec appels d'outils sur un seul RTX 5090. L'approche impliquait une configuration iptables, un relais TCP personnalisé et une traduction en temps réel des appels d'outils.
Tendril : Un agent auto-extensible qui construit et enregistre des outils à la volée
Tendril est un bac à sable agentique qui découvre, construit et enregistre des outils de manière autonome. Il commence avec seulement trois outils de bootstrap et étend dynamiquement son registre de capacités sans demander à l'utilisateur.