Punto de referencia: Gemma4 12B frente a Qwen3 8B cuantizado en Mac Mini de 24GB

Comparación de rendimiento de dos modelos locales para OpenClaw

Un desarrollador realizó una prueba directa comparando Gemma4 12B y Qwen3:8b-q4_K_M en una Mac Mini de 24GB. La prueba utilizó dos indicaciones: "explica cómo funciona un carburador" y "escribe una función en Python para detectar fugas de memoria". Claude ayudó a escribir un comando para buscar en la salida con grep para la medición.

Resultados del benchmark

Tarea de explicación del carburador:

• Qwen3:8b-q4_K_M: Evaluación de indicación: 89.8 t/s, Generación: 19.6 t/s
• Gemma4: Evaluación de indicación: 20.8 t/s, Generación: 27.6 t/s

Tarea de programación en Python:

• Qwen3:8b-q4_K_M: Evaluación de indicación: 133.8 t/s, Generación: 18.7 t/s
• Gemma4: Evaluación de indicación: 26.1 t/s, Generación: 26.1 t/s

Hallazgos clave

Qwen3 procesa las indicaciones 4-5 veces más rápido que Gemma4, lo cual es importante para OpenClaw debido a las indicaciones de contexto grande que normalmente se envían. Gemma4 genera la salida ligeramente más rápido. Para muchos usos de OpenClaw, Qwen3 gana en velocidad. El desarrollador señala que Gemma4 es un modelo de 12B y podría producir una salida ligeramente mejor, aunque esto no fue probado.

El desarrollador ejecuta varias tareas en modelos locales incluyendo trabajos cron, monitoreo de latidos, indexación de memoria, y a menudo hace que OpenClaw llame a subagentes que ejecutan modelos locales. Están probando Gemma4 como el modelo local para todas estas tareas en segundo plano pero no esperan notar diferencias de rendimiento ya que estas se ejecutan en segundo plano.