Benchmarks 12 Go VRAM : Exécution des modèles Qwen 3.6 et Gemma 4 sur une RTX 4070 Super
Un utilisateur de Reddit a publié des benchmarks de vitesse pour l'exécution de plusieurs grands modèles MoE sur une RTX 4070 Super de 12 Go (avec +10% d'overclocking), couplée à un CPU AMD 9800X3D et 64 Go de RAM DDR5-6000. L'utilisateur décharge l'affichage sur le GPU intégré pour économiser de la VRAM, notant une pénalité de performance d'environ 10% dans le cas contraire. La configuration utilise CUDA 13.1 et la dernière version de llama.cpp avec la configuration matérielle suivante :
n-gpu-layers = 999
threads = 8
threads-batch = 16
batch-size = 4096
ubatch-size = 4096
ctx-size = 65536
flash-attn = true
Résultats des benchmarks
L'utilisateur a testé quatre modèles via les quantifications Unsloth GGUF dans VS Code avec Cline et KiloCode (aucun problème d'appel d'outil). Toutes les mesures sont en tokens par seconde (tgs) et en traitement par seconde (pps).
- Qwen3.6-35B-A3B-GGUF Q6_K_XL : 40 tgs, 2100 pps
- Qwen3.6-27B-IQ3_XXS : 16 tgs, 1000 pps
- Gemma 4 26B-A4B-it-UD-Q8 : 26 tgs, 2150 pps
- Gemma-4-31B-it-IQ3_XXS : 13-16 tgs, 650 pps
Détails notables de la configuration
L'utilisateur a partagé les configurations individuelles des modèles avec des réglages spécifiques. Points clés :
- Pour Qwen3.6-35B-A3B :
n-cpu-moe = 35(décharge 35 experts MoE sur le CPU),cache-type-k = q8_0,cache-type-v = q8_0,swa-full = true,cache-reuse = 512, taille de contexte 131072, raisonnement activé avec budget 8096. - Pour Gemma 4 26B :
n-cpu-moe = 27, contexte 102400,fit = onavecfit-target = 256etfit-ctx = 32768. - Pour Gemma 4 31B : utilise le décodage spéculatif avec
ngram-mod(spec-type = ngram-mod),n-gpu-layers = 58(déchargement partiel sur GPU),cache-type-k = q4_0,no-kv-offload = true. - Tous les modèles utilisent
flash-attn = trueetno-mmproj-offload = true.
Le modèle préféré de l'utilisateur pour le développement web est Qwen3.6-35B-A3B, louant sa qualité sans problème d'appel d'outil dans les extensions VS Code.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Principes d'écriture de compétences pour Claude Code, issus de 159 compétences open-source
Un développeur partage 10 principes pour écrire des compétences efficaces pour Claude Code, basés sur la création et la maintenance d'un registre open-source avec 159 compétences. Les principes incluent des approches pratiques comme l'utilisation de dossiers plutôt que de fichiers uniques, l'ajout de sections pièges courants, et la mise en œuvre de crochets à la demande.
Qwen 3.5 122B MoE à 35 t/s sur une seule 3090 avec ik_llama.cpp MTP
Un stack local exécutant Qwen 3.5 122B MoE sur une seule 3090 à 35 t/s en utilisant les opérations MoE fusionnées d'ik_llama.cpp pour MTP. Le llama.cpp standard n'a montré qu'une amélioration de +4 % ; le fork d'ik donne +20 %.
Art du code : laissez l'IA réviser, pas écrire, votre code
Peter Bloem affirme que le vibe-coding est une impasse. À la place, faites réviser votre code par l'IA pendant que vous écrivez. Cela maintient vos compétences et évite le piège de la sortie IA non contrôlée.
Méthode de codage AI en laisse courte : battre Fable en gardant le contrôle
La méthode de la laisse courte de Greg Slepak pour les agents de codage IA : planifier, examiner chaque diff, refuser les mauvaises modifications, valider après chaque sous-tâche. Surpasse la qualité de Fable en gardant le développeur dans la boucle.