Bench du cache KV Qwen 3.6-35B-A3B : f16 vs q8_0 vs Turbo3 vs Turbo4 sur M5 Max jusqu'à 1M de contexte

✍️ OpenClawRadar📅 Publié: April 28, 2026🔗 Source
Bench du cache KV Qwen 3.6-35B-A3B : f16 vs q8_0 vs Turbo3 vs Turbo4 sur M5 Max jusqu'à 1M de contexte
Ad

Un utilisateur de Reddit a effectué un balayage de profondeur sur Qwen 3.6-35B-A3B Q8 en utilisant le fork TurboQuant Metal de TheTom de llama.cpp (GitHub: TheTom/llama-cpp-turboquant, branche feature/turboquant-kv-cache) sur un MacBook Pro M5 Max avec 128 Go de mémoire unifiée. Ils ont testé quatre types de cache KV : f16, q8_0, turbo3 (3 bits) et turbo4 (4 bits), K et V symétriques, avec flash-attn activé et mlock activé, de 0 à 1M de tokens de contexte.

Matériel et compilation

M5 Max, 128 Go de mémoire unifiée. Compilé avec cmake -B build -DGGML_METAL=ON. Utilisation de llama-bench, 3 répétitions par cellule, flash-attn activé, mlock activé. 8 heures de temps réel pendant la nuit.

Débit de génération (tok/s)

Profondeurf16q8_0turbo3turbo4
089,487,479,579,7
8K84,279,272,271,2
32K72,667,861,561,8
128K44,440,736,037,7
256KOOM26,622,925,5
512KOOMOOM13,316,0
1MOOMOOM6,5OOM

Débit de traitement des prompts (tok/s)

Profondeurf16q8_0turbo3turbo4
02962294829042854
8K2098162316531439
32K1063802784678
128K321245253206
256KOOM124128101
512KOOMOOM6656
1MOOMOOM30OOM
Ad

Principaux enseignements

  • À profondeur 0, f16 mène de justesse sur le préremplissage ; turbo3 est ~10% plus lent en décodage.
  • À 128K, le préremplissage de turbo3 (253 tok/s) égalise q8_0 (245 tok/s) — un cache plus petit réduit la pression sur la bande passante.
  • À 256K, turbo3 gagne le préremplissage de +27% par rapport à turbo4 (128 contre 101), mais turbo4 gagne le décodage de +11% (25,5 contre 22,9). À 512K, l'écart en décodage s'élargit à +20% (turbo4 16,0 contre turbo3 13,3).
  • turbo3 est le seul type de cache qui tient dans 1M de contexte (6,5 tok/s en décodage). Mémoire à 1M : ~89 Go (37 Go de poids, ~52 Go de cache KV).

Recommandations selon la charge de travail

  • Agents de codage (contexte profond, nombreux tokens générés) : turbo4
  • RAG / QA par lots (préremplissage lourd, réponses courtes) : turbo3
  • Contexte de 1M : turbo3 uniquement
  • Interactif court (<32K) : f16 si ça tient, sinon q8_0

Limitations

Ceci est un seul M5 Max. Les points de croisement changent probablement avec la mémoire et les cœurs GPU. Seul K/V symétrique a été testé. Les combinaisons asymétriques (par ex., -ctk q8_0 -ctv turbo4) n'ont pas été évaluées. Le fork de TheTom est de niveau recherche, pas encore intégré dans llama.cpp principal.

📖 Lire la source complète : r/LocalLLaMA

Ad

👀 See Also

Révolutionnez la surveillance d'API sur tous les fournisseurs avec onWatch
News

Révolutionnez la surveillance d'API sur tous les fournisseurs avec onWatch

Découvrez comment onWatch, un nouvel outil puissant, simplifie le suivi de votre quota d'utilisation des API d'IA à travers plusieurs fournisseurs, vous assurant de rester dans les limites et d'optimiser l'allocation des ressources.

OpenClawRadar
Claude Code : le piège à feedback contourne l'opposition à la vie privée — des utilisateurs signalent un piège de transcription de session
News

Claude Code : le piège à feedback contourne l'opposition à la vie privée — des utilisateurs signalent un piège de transcription de session

Le Claude Code d'Anthropic invite désormais les utilisateurs à autoriser la consultation de leurs sessions. Appuyer sur 'n' pour refuser enregistre 'Merci pour votre retour' et pourrait quand même entraîner les modèles. Le comportement de la touche d'ignorance reste flou.

OpenClawRadar
Le Pentagone donne 72 heures à Anthropic pour autoriser l'utilisation militaire de l'IA Claude
News

Le Pentagone donne 72 heures à Anthropic pour autoriser l'utilisation militaire de l'IA Claude

Le Pentagone a lancé un ultimatum de 72 heures à Anthropic pour permettre à l'armée américaine d'utiliser son IA Claude, menaçant d'invoquer une loi de 1950 pour forcer la conformité si la startup ne se plie pas.

OpenClawRadar
GitHub Copilot passe à la facturation basée sur l'utilisation par consommation de jetons, remplaçant les requêtes premium le 1er juin 2026
News

GitHub Copilot passe à la facturation basée sur l'utilisation par consommation de jetons, remplaçant les requêtes premium le 1er juin 2026

GitHub Copilot passe des unités de requête premium aux crédits IA GitHub basés sur les tokens, sans changement de prix des formules. Tous les forfaits payants incluent des crédits mensuels égaux au coût de l'abonnement ; toute utilisation supplémentaire est facturée aux tarifs de l'API.

OpenClawRadar