ベンチマーク：24GB Mac MiniでのGemma4 12Bと量子化版Qwen3 8Bの比較

OpenClaw用2つのローカルモデルの性能比較

開発者が24GB Mac MiniでGemma4 12BとQwen3:8b-q4_K_Mを直接比較するテストを実施しました。テストでは「キャブレーターの仕組みを説明せよ」と「メモリリークを検出するPython関数を作成せよ」の2つのプロンプトを使用。Claudeが出力測定用のgrepコマンド作成を支援しました。

ベンチマーク結果

キャブレーター説明タスク:

• Qwen3:8b-q4_K_M: プロンプト評価: 89.8 t/s, 生成: 19.6 t/s
• Gemma4: プロンプト評価: 20.8 t/s, 生成: 27.6 t/s

Pythonコーディングタスク:

• Qwen3:8b-q4_K_M: プロンプト評価: 133.8 t/s, 生成: 18.7 t/s
• Gemma4: プロンプト評価: 26.1 t/s, 生成: 26.1 t/s

主な発見

Qwen3はGemma4よりもプロンプト処理が4〜5倍速く、これはOpenClawで通常送信される大規模なコンテキストプロンプトを考慮すると重要です。Gemma4は出力生成がわずかに速いです。多くのOpenClaw用途では、速度面でQwen3が優位です。開発者は、Gemma4が12Bモデルであり、わずかに優れた出力を生成する可能性があると指摘していますが、これはテストされていません。

開発者はcronジョブ、ハートビート監視、メモリインデックス作成など様々なタスクをローカルモデルで実行しており、OpenClawがローカルモデルを実行するサブエージェントを呼び出すことがよくあります。これらのバックグラウンドタスクすべてにGemma4をローカルモデルとしてテストしていますが、バックグラウンドで実行されるため性能差は気づかないと予想しています。