PinchBench classe Qwen et Nemotron sur Mac Studio M3 Ultra : Nemotron Super atteint 99,2 % en codage

PinchBench est un outil de benchmarking de modèles locaux pour OpenClaw. Un développeur a publié les résultats de six modèles exécutés sur un Mac Studio M3 Ultra (256 Go de RAM, GPU 60 cœurs), avec une température de 0,8 et une fenêtre de contexte réglée à 200 000 tokens lorsque le modèle le permettait. Le classement ci-dessous est repris directement de ce post — y compris les écarts qui comptent avant de choisir son modèle quotidien.

Résultats complets

#	Modèle	Taille sur disque	Fenêtre de tokens max	Total / Codage
1	Qwen3.6 35B A3B	20,4 Go	262k	87,9 % / 92,6 %
2	QWEN3-Coder-next-Q8	84,8 Go	262k	85,5 % / 97,9 %
3	Qwen3.5-122B-a10b-uncensored-hauhaucs-aggressive	78,7 Go	262k	83,5 % / 91,7 %
4	Nemotron-3-super	86,1 Go	1,05M	78,2 % / 99,2 %
5	QWEN3.8-flash-next	95,43 Go	262k	71,2 % / 79,2 %
6	Nemotron-3-nano-30b-a3b-mlx	33,6 Go	262k	65,8 % / 65,1 %

Le post mentionne également un Dolphin-Mistral-24b-venice-edition-mlx-8b à 25,1 Go avec une fenêtre de 131k tokens, mais le score total du benchmark est tronqué dans le texte source. Les résultats le concernant ne sont pas exploitables en l'état.

Ce qui ressort

• Qwen3.6 35B A3B gagne sur l'équilibre. Meilleur score total (87,9 %) et un solide 92,6 % en codage, pour seulement 20,4 Go sur disque. C'est aussi le modèle quotidien de l'auteur.
• QWEN3-Coder-next-Q8 est le spécialiste du codage. 97,9 % en codage mais un total plus faible de 85,5 % — et 84,8 Go, soit plus de quatre fois l'empreinte disque du 35B A3B. L'auteur ne l'avait jamais utilisé avant ce test et compte l'essayer.
• Nemotron-3-super a le meilleur score de codage à 99,2 %, mais son total de 78,2 % est le plus bas du top 4. Il possède aussi la plus grande fenêtre de contexte du panel avec 1,05M tokens — 4x celle des modèles Qwen.
• L'écart entre Nemotron Super et Nano est important. 99,2 % contre 65,1 % en codage, 78,2 % contre 65,8 % au total. Le Nano fait moins de la moitié de la taille (33,6 Go contre 86,1 Go), ce qui explique une partie de l'écart.
• QWEN3.8-flash-next est décevant pour sa taille. À 95,43 Go — le plus gros modèle testé — il n'obtient que 71,2 % / 79,2 %, en dessous du Qwen3.5-122B (78,7 Go).

Deux réserves de l'auteur

Premièrement, il indique ne pas avoir trouvé de réglages efficaces pour QWEN3.8 sur Mac et demande des configurations qui fonctionnent. Le faible score de QWEN3.8-flash-next ne doit pas être interprété comme une limite du modèle tant que ce point n'est pas résolu.

Deuxièmement, tous les chiffres proviennent d'une seule machine, d'une seule exécution à température 0,8 sur du matériel M3 Ultra. Considérez ce classement comme un point de départ pour votre propre test PinchBench, pas comme un verdict — surtout avant de consacrer 85 à 95 Go de disque à un téléchargement.

À qui cela s'adresse

À tous ceux qui exécutent des modèles locaux dans OpenClaw ou des agents similaires sur Apple Silicon avec suffisamment de mémoire unifiée (64 Go et plus) pour charger des modèles de 30 à 120B. Si vous disposez de 32 Go ou moins, le Qwen3.6 35B A3B de 20,4 Go est le seul choix réaliste de cette liste — et c'est justement celui qui obtient le meilleur score total.