Referência: Gemma4 12B vs Qwen3 8B quantizado em Mac Mini de 24GB

Comparação de desempenho de dois modelos locais para OpenClaw

Um desenvolvedor realizou um teste direto comparando o Gemma4 12B e o Qwen3:8b-q4_K_M em um Mac Mini de 24GB. O teste usou dois prompts: "explique como funciona um carburador" e "escreva uma função Python para detectar vazamentos de memória". O Claude ajudou a escrever um comando para filtrar a saída com grep para medição.

Resultados do benchmark

Tarefa de explicação do carburador:

• Qwen3:8b-q4_K_M: Avaliação do prompt: 89,8 t/s, Geração: 19,6 t/s
• Gemma4: Avaliação do prompt: 20,8 t/s, Geração: 27,6 t/s

Tarefa de codificação Python:

• Qwen3:8b-q4_K_M: Avaliação do prompt: 133,8 t/s, Geração: 18,7 t/s
• Gemma4: Avaliação do prompt: 26,1 t/s, Geração: 26,1 t/s

Principais conclusões

O Qwen3 processa prompts 4-5x mais rápido que o Gemma4, o que é importante para o OpenClaw devido aos prompts de contexto grandes normalmente enviados. O Gemma4 gera a saída um pouco mais rápido. Para muitos usos do OpenClaw, o Qwen3 vence em velocidade. O desenvolvedor observa que o Gemma4 é um modelo de 12B e pode produzir uma saída ligeiramente melhor, embora isso não tenha sido testado.

O desenvolvedor executa várias tarefas em modelos locais, incluindo trabalhos cron, monitoramento de heartbeat, indexação de memória, e frequentemente faz o OpenClaw chamar subagentes executando modelos locais. Eles estão testando o Gemma4 como o modelo local para todas essas tarefas em segundo plano, mas não esperam notar diferenças de desempenho, já que estas rodam em segundo plano.