Bench du cache KV Qwen 3.6-35B-A3B : f16 vs q8_0 vs Turbo3 vs Turbo4 sur M5 Max jusqu'à 1M de contexte

✍️ OpenClawRadar📅 Publié: April 28, 2026🔗 Source
Bench du cache KV Qwen 3.6-35B-A3B : f16 vs q8_0 vs Turbo3 vs Turbo4 sur M5 Max jusqu'à 1M de contexte
Ad

Un utilisateur de Reddit a effectué un balayage de profondeur sur Qwen 3.6-35B-A3B Q8 en utilisant le fork TurboQuant Metal de TheTom de llama.cpp (GitHub: TheTom/llama-cpp-turboquant, branche feature/turboquant-kv-cache) sur un MacBook Pro M5 Max avec 128 Go de mémoire unifiée. Ils ont testé quatre types de cache KV : f16, q8_0, turbo3 (3 bits) et turbo4 (4 bits), K et V symétriques, avec flash-attn activé et mlock activé, de 0 à 1M de tokens de contexte.

Matériel et compilation

M5 Max, 128 Go de mémoire unifiée. Compilé avec cmake -B build -DGGML_METAL=ON. Utilisation de llama-bench, 3 répétitions par cellule, flash-attn activé, mlock activé. 8 heures de temps réel pendant la nuit.

Débit de génération (tok/s)

Profondeurf16q8_0turbo3turbo4
089,487,479,579,7
8K84,279,272,271,2
32K72,667,861,561,8
128K44,440,736,037,7
256KOOM26,622,925,5
512KOOMOOM13,316,0
1MOOMOOM6,5OOM

Débit de traitement des prompts (tok/s)

Profondeurf16q8_0turbo3turbo4
02962294829042854
8K2098162316531439
32K1063802784678
128K321245253206
256KOOM124128101
512KOOMOOM6656
1MOOMOOM30OOM
Ad

Principaux enseignements

  • À profondeur 0, f16 mène de justesse sur le préremplissage ; turbo3 est ~10% plus lent en décodage.
  • À 128K, le préremplissage de turbo3 (253 tok/s) égalise q8_0 (245 tok/s) — un cache plus petit réduit la pression sur la bande passante.
  • À 256K, turbo3 gagne le préremplissage de +27% par rapport à turbo4 (128 contre 101), mais turbo4 gagne le décodage de +11% (25,5 contre 22,9). À 512K, l'écart en décodage s'élargit à +20% (turbo4 16,0 contre turbo3 13,3).
  • turbo3 est le seul type de cache qui tient dans 1M de contexte (6,5 tok/s en décodage). Mémoire à 1M : ~89 Go (37 Go de poids, ~52 Go de cache KV).

Recommandations selon la charge de travail

  • Agents de codage (contexte profond, nombreux tokens générés) : turbo4
  • RAG / QA par lots (préremplissage lourd, réponses courtes) : turbo3
  • Contexte de 1M : turbo3 uniquement
  • Interactif court (<32K) : f16 si ça tient, sinon q8_0

Limitations

Ceci est un seul M5 Max. Les points de croisement changent probablement avec la mémoire et les cœurs GPU. Seul K/V symétrique a été testé. Les combinaisons asymétriques (par ex., -ctk q8_0 -ctv turbo4) n'ont pas été évaluées. Le fork de TheTom est de niveau recherche, pas encore intégré dans llama.cpp principal.

📖 Lire la source complète : r/LocalLLaMA

Ad

👀 See Also

Claude Fable 5 d'Anthropic : Capacités de classe Mythos, Conservation des données requise
News

Claude Fable 5 d'Anthropic : Capacités de classe Mythos, Conservation des données requise

Anthropic publie demain Claude Fable 5, décrit comme le modèle public le plus avancé, doté de capacités de classe Mythos et de garde-fous renforcés. Il nécessitera probablement la conservation des données.

OpenClawRadar
Machine à flux d'état : l'architecture non-transformeuse maintient 62 % de précision sur les séquences longues, là où les transformateurs tombent à 2 %.
News

Machine à flux d'état : l'architecture non-transformeuse maintient 62 % de précision sur les séquences longues, là où les transformateurs tombent à 2 %.

Un chercheur a développé State Flow Machine (SFM), une architecture alternative utilisant des emplacements de mémoire explicites au lieu de têtes d'attention, atteignant 62 % de précision sur une tâche synthétique de suivi d'état de programme à une longueur d'entraînement 4× où les transformateurs tombent à 1,9-3,1 %. Le modèle fonctionne sur un seul NPU Huawei Ascend 910 ProA.

OpenClawRadar
Enquête sur le bogue ACP : une incompatibilité de protocole provoque l'erreur 'metadata is missing' avec Ollama local
News

Enquête sur le bogue ACP : une incompatibilité de protocole provoque l'erreur 'metadata is missing' avec Ollama local

Un bug confirmé dans l'intégration ACP/OpenClaw empêche les commandes de lancement acpx de fonctionner avec les modèles Ollama locaux en raison d'une incompatibilité de protocole où acpx attend du JSON mais reçoit une sortie texte.

OpenClawRadar
Rapport Anthropique sur l'Intensité de l'Adoption de l'IA à l'Échelle Mondiale
News

Rapport Anthropique sur l'Intensité de l'Adoption de l'IA à l'Échelle Mondiale

Les dernières données d'Anthropic révèlent une adoption inégale de l'IA à l'échelle mondiale, mesurant l'intensité d'utilisation plutôt que le nombre total d'utilisateurs. Le rapport montre où l'IA est intégrée dans les flux de travail comme le codage, la recherche et la prise de décision, tant pour les individus que pour les entreprises.

OpenClawRadar