PinchBench: Nemotron Super, 코딩 99.2% 달성

PinchBench는 OpenClaw 로컬 모델 벤치마킹 도구입니다. 한 개발자가 Mac Studio M3 Ultra(256GB RAM, 60코어 GPU)에서 온도 0.8, 지원되는 경우 컨텍스트 창을 200,000 토큰으로 설정하고 6개 모델을 실행한 결과를 게시했습니다. 아래 순위는 해당 게시물에서 그대로 가져온 것으로, 일상적으로 사용할 모델을 고르기 전에 고려해야 할 격차도 포함되어 있습니다.

전체 결과

#	모델	디스크 크기	최대 토큰 창	전체 / 코딩
1	Qwen3.6 35B A3B	20.4 GB	262k	87.9% / 92.6%
2	QWEN3-Coder-next-Q8	84.8 GB	262k	85.5% / 97.9%
3	Qwen3.5-122B-a10b-uncensored-hauhaucs-aggressive	78.7 GB	262k	83.5% / 91.7%
4	Nemotron-3-super	86.1 GB	1.05M	78.2% / 99.2%
5	QWEN3.8-flash-next	95.43 GB	262k	71.2% / 79.2%
6	Nemotron-3-nano-30b-a3b-mlx	33.6 GB	262k	65.8% / 65.1%

게시물에는 또한 Dolphin-Mistral-24b-venice-edition-mlx-8b가 25.1 GB, 131k 토큰 창으로 나열되어 있지만, 원문에서 벤치마크 총점이 잘려 있습니다. 기록된 대로는 결과를 사용할 수 없습니다.

주목할 점

Qwen3.6 35B A3B가 균형에서 승리합니다. 최고 총점(87.9%)과 강력한 코딩 점수 92.6%를 기록했으며 디스크 용량은 20.4 GB에 불과합니다. 작성자의 일상용 모델이기도 합니다.
QWEN3-Coder-next-Q8은 코딩 전문가입니다. 코딩 97.9%지만 전체 점수는 85.5%로 더 낮고, 디스크 용량은 84.8 GB로 35B A3B의 네 배가 넘습니다. 작성자는 이번 테스트 전까지 사용해 본 적이 없으며 앞으로 사용해 볼 것이라고 합니다.
Nemotron-3-super는 코딩 점수가 99.2%로 가장 높습니다, 하지만 전체 점수 78.2%는 상위 4개 중 가장 낮습니다. 또한 이 분야에서 가장 큰 컨텍스트 창(1.05M 토큰)을 가지고 있으며, 이는 Qwen 모델들의 4배입니다.
Nemotron Super와 Nano의 격차가 큽니다. 코딩 99.2% 대 65.1%, 전체 78.2% 대 65.8%입니다. Nano는 크기가 절반 이하(33.6 GB 대 86.1 GB)로, 이는 격차의 일부를 설명합니다.
QWEN3.8-flash-next는 크기에 비해 저조한 성능을 보였습니다. 테스트된 모델 중 가장 큰 95.43 GB임에도 불구하고 71.2% / 79.2%를 기록해 Qwen3.5-122B(78.7 GB)보다 낮았습니다.

작성자가 언급한 두 가지 주의사항

첫째, Mac에서 QWEN3.8에 대한 효과적인 설정을 찾지 못했으며 작동하는 설정을 묻고 있다고 합니다. QWEN3.8-flash-next의 낮은 점수는 이 문제가 해결되기 전까지 모델의 한계로 해석해서는 안 됩니다.

둘째, 모든 수치는 M3 Ultra 하드웨어에서 온도 0.8로 단일 머신, 단일 실행한 결과입니다. 순위는 자체 PinchBench 실행을 위한 출발점으로 삼아야 하며, 특히 85-95 GB의 디스크를 다운로드에 투자하기 전에는 최종 판단으로 받아들이지 마세요.

이 정보가 유용한 대상

Apple Silicon에서 30-120B 모델을 로드할 수 있는 충분한 통합 메모리(64GB 이상)를 갖추고 OpenClaw나 유사한 에이전트에서 로컬 모델을 실행하는 모든 분에게 유용합니다. 32GB 이하라면 이 목록에서 현실적으로 선택할 수 있는 모델은 20.4 GB Qwen3.6 35B A3B뿐인데, 이 모델이 어쨌든 최고 점수를 기록했습니다.

📖 전체 원문 읽기: r/openclaw