Évaluation de Nemotron 3 Super 120B avec un contexte de 1 million de tokens sur M1 Ultra
Test local d'un contexte de 1 million de tokens avec Nemotron 3 Super
Un utilisateur de Reddit a réalisé un test de benchmark pour évaluer la faisabilité de traiter localement des contextes d'un million de tokens en utilisant Nemotron 3 Super 120B sur un système M1 Ultra. Le test a tiré parti de l'architecture hybride mamba-2 du modèle, qui offre une efficacité mémoire pour des longueurs de contexte accrues.
Détails du matériel et de la configuration
Le test a été exécuté sur un M1 Ultra en utilisant llama.cpp avec la configuration suivante :
- Modèle : Nemotron-3-Super-120B-Q4_K.gguf (quantification Q4_K_M)
- Allocation de contexte : 1 million de tokens complets
- Utilisation de la VRAM : Environ 90 Go
- Backend : MTL,BLAS avec 1 thread
- Taille de lot unifiée : 2048
- Attention flash : Activée (fa 1)
- Couches GPU : 99 (-ngl 99)
Commande de benchmark et résultats
L'utilisateur a exécuté llama-bench avec cette commande :
llama-bench -m ~/ml-models/huggingface/ggml-org/Nemotron-3-Super-120B-GGUF/Nemotron-3-Super-120B-Q4_K.gguf -fa 1 -t 1 -ngl 99 -b 2048 -ub 2048 -d 0,10000,20000,30000,40000,50000,60000,70000,80000,90000,100000,150000,200000,250000,1000000Résultats de performance clés du benchmark :
- Traitement de prompt (pp512) à 0 contexte : 255,03 ± 0,36 tokens/seconde
- Génération de tokens (tg128) à 0 contexte : 26,72 ± 0,02 tokens/seconde
- Traitement de prompt à 100 000 tokens de contexte : 184,99 ± 0,19 tokens/seconde
- Génération de tokens à 100 000 tokens de contexte : 22,37 ± 0,01 tokens/seconde
- Traitement de prompt à 150 000 tokens de contexte : 161,60 ± 0,22 tokens/seconde
- Génération de tokens à 150 000 tokens de contexte : 20,58 ± 0,01 tokens/seconde
- Traitement de prompt à 200 000 tokens de contexte : 141,87 ± 0,19 tokens/seconde
Les résultats montrent une dégradation des performances à mesure que la longueur du contexte augmente, avec la vitesse de traitement de prompt passant de 255 t/s sans contexte à environ 142 t/s à 200 000 tokens.
Informations système
L'initialisation du backend Metal a affiché :
- Nom du GPU : MTL0
- Famille GPU : MTLGPUFamilyApple7 (1007)
- Mémoire unifiée : true
- Support bfloat : true
- Taille maximale recommandée du jeu de travail : 134 217,73 Mo
Ce test démontre que le traitement local de contextes extrêmement grands (jusqu'à 1 million de tokens) est techniquement possible avec du matériel Apple Silicon haut de gamme et des modèles quantifiés, bien qu'avec des exigences mémoire importantes et des compromis de performance à mesure que le contexte s'étend.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Claude Code Routines améliore les performances CLI de 2,4x dans plus de 20 PRs
Utilisation des routines de Claude Code sur un cron de 2 heures pour optimiser de manière autonome un outil CLI open-source (Repomix), résultant en plus de 20 PRs générées automatiquement et une amélioration de 2,4x du temps d'exécution.
Comparaison de 8 modèles d'IA de codage sur l'implémentation d'une fonctionnalité TypeScript en conditions réelles
Un développeur a testé 8 modèles d'IA de codage sur l'implémentation d'une commande /rename dans un projet de bot Telegram open-source en TypeScript, en les évaluant sur le coût, le temps d'exécution, la justesse et la qualité technique. GPT-5.4 a obtenu le meilleur score pour la justesse de l'implémentation, tandis que GLM 5 offrait le meilleur rapport coût-performance.
Tableau de Bord Open Source Révèle les Coûts Réels de Calcul du Code Claude
Un développeur a rétro-conçu la formule de limite de taux de Claude Code pour créer un tableau de bord local qui affiche le pourcentage d'utilisation en temps réel, les coûts réels en dollars, le taux de consommation, les heures de pointe et quelles compétences/hooks sont déclenchés. L'outil a révélé qu'un forfait de 100$/mois a consommé 13 286$ en équivalent de calcul API en un mois.
ddash : Outil de diagramme Mermaid avec stockage basé sur URL et intégration de code Claude
ddash est un outil de diagrammes Mermaid gratuit où l'intégralité du diagramme est compressée dans le hachage de l'URL, ne nécessitant aucun backend, compte ou stockage. Il inclut une compétence Claude Code qui vous permet de générer et d'ouvrir des diagrammes directement pendant les conversations avec des commandes comme /diagram the auth flow.