벤치마크: 24GB Mac Mini에서 Gemma4 12B 대 Qwen3 8B 양자화 버전 비교

OpenClaw용 두 로컬 모델의 성능 비교

한 개발자가 24GB Mac Mini에서 Gemma4 12B와 Qwen3:8b-q4_K_M을 직접 비교 테스트했습니다. 테스트에는 "카뷰레이터 작동 원리 설명하기"와 "메모리 누수를 감지하는 파이썬 함수 작성하기"라는 두 가지 프롬프트가 사용되었습니다. Claude가 출력 측정을 위한 grep 명령어 작성에 도움을 주었습니다.

벤치마크 결과

카뷰레이터 설명 작업:

• Qwen3:8b-q4_K_M: 프롬프트 평가: 89.8 t/s, 생성: 19.6 t/s
• Gemma4: 프롬프트 평가: 20.8 t/s, 생성: 27.6 t/s

파이썬 코딩 작업:

• Qwen3:8b-q4_K_M: 프롬프트 평가: 133.8 t/s, 생성: 18.7 t/s
• Gemma4: 프롬프트 평가: 26.1 t/s, 생성: 26.1 t/s

주요 발견 사항

Qwen3는 Gemma4보다 프롬프트를 4-5배 더 빠르게 처리하며, 이는 OpenClaw에서 일반적으로 전송되는 대규모 컨텍스트 프롬프트 때문에 중요합니다. Gemma4는 출력 생성 속도가 약간 더 빠릅니다. 많은 OpenClaw 사용 사례에서 Qwen3가 속도 면에서 우위를 보입니다. 개발자는 Gemma4가 12B 모델이기 때문에 약간 더 나은 출력을 생성할 수 있다고 언급했지만, 이는 테스트되지 않았습니다.

해당 개발자는 cron 작업, 하트비트 모니터링, 메모리 인덱싱 등 다양한 작업을 로컬 모델에서 실행하며, 종종 OpenClaw가 로컬 모델을 실행하는 서브에이전트를 호출하도록 합니다. 이들은 이러한 모든 백그라운드 작업에 대한 로컬 모델로 Gemma4를 테스트하고 있지만, 백그라운드에서 실행되기 때문에 성능 차이를 눈치채지 못할 것으로 예상합니다.