Бенчмарк: Gemma4 12B против квантованной Qwen3 8B на Mac Mini с 24 ГБ памяти.

Сравнение производительности двух локальных моделей для OpenClaw

Разработчик провёл прямое сравнение моделей Gemma4 12B и Qwen3:8b-q4_K_M на Mac Mini с 24 ГБ памяти. В тесте использовались два промпта: «объясни, как работает карбюратор» и «напиши функцию на Python для обнаружения утечек памяти». Claude помог написать команду grep для измерения вывода.

Результаты тестирования

Задача с объяснением карбюратора:

• Qwen3:8b-q4_K_M: Оценка промпта: 89.8 t/s, Генерация: 19.6 t/s
• Gemma4: Оценка промпта: 20.8 t/s, Генерация: 27.6 t/s

Задача с кодом на Python:

• Qwen3:8b-q4_K_M: Оценка промпта: 133.8 t/s, Генерация: 18.7 t/s
• Gemma4: Оценка промпта: 26.1 t/s, Генерация: 26.1 t/s

Ключевые выводы

Qwen3 обрабатывает промпты в 4-5 раз быстрее, чем Gemma4, что важно для OpenClaw из-за больших контекстных промптов, которые обычно отправляются. Gemma4 генерирует вывод немного быстрее. Для многих задач в OpenClaw Qwen3 выигрывает по скорости. Разработчик отмечает, что Gemma4 — это 12B-модель и может давать немного лучший вывод, хотя это не тестировалось.

Разработчик выполняет различные задачи на локальных моделях, включая cron-задания, мониторинг активности, индексацию памяти, и часто использует OpenClaw для вызова подзадач, работающих на локальных моделях. Они тестируют Gemma4 в качестве локальной модели для всех этих фоновых задач, но не ожидают заметной разницы в производительности, поскольку они выполняются в фоновом режиме.