Problèmes de quantification du cache KV dans les agents de codage locaux à de longs contextes

Si votre agent de codage local commence à produire des sorties JSON malformées, se retrouve piégé dans des boucles de correction infinies, ou hallucine des paramètres d'appel d'outils une fois que le contexte dépasse 30 000 tokens, le problème pourrait être une quantification agressive du cache KV plutôt qu'une limitation du modèle.

Le problème : la quantification dégrade la précision de l'attention

Lors de l'exécution de grands modèles (30B+) avec une VRAM limitée (comme 24 Go), les développeurs activent souvent la quantification Q4 ou Q8 du cache KV dans des backends comme llama.cpp ou ExLlamaV3 pour maintenir de grandes fenêtres de contexte (64k+). Bien que les benchmarks de perplexité en contexte court montrent un impact minimal, cette approche échoue dans les workflows d'agents nécessitant une syntaxe rigide.

La réalité mécanique : le cache K (Clés) est exponentiellement plus sensible à la perte de précision que le cache V (Valeurs). Quantifier le cache K en 4 bits ou 8 bits dégrade la capacité du mécanisme d'attention à faire correspondre exactement la syntaxe des schémas définis des dizaines de milliers de tokens plus tôt. Le modèle conserve la connaissance des outils mais avec des clés "floues", conduisant à des structures de paramètres hallucinées.

Implications sur les performances

• Dans llama.cpp, un cache KV fortement quantifié impose une surcharge significative de déquantisation sur le CPU, impactant gravement la vitesse de traitement des prompts
• Les problèmes apparaissent systématiquement autour de 30k+ tokens dans le contexte
• Les symptômes courants incluent des sorties JSON malformées et des agents oubliant les schémas d'API en cours de tâche

Solutions de contournement pratiques

Pour les configurations limitées en VRAM :

• Vérifiez si votre backend prend en charge la précision mixte : gardez le cache K en FP16 ou FP8 tout en quantifiant uniquement le cache V en Q8
• Alternativement, réduisez votre taille de contexte maximale pour accommoder un cache non quantifié plutôt que de maintenir artificiellement des comptes de tokens élevés

L'analyse est issue de tests de fiabilité des appels d'outils pour le framework OpenClaw, où les utilisateurs ont signalé que les agents oubliaient complètement les schémas d'API pendant les tâches. Les hypothèses initiales sur la dégradation du contexte ont été infirmées lorsque l'isolation des variables a révélé la quantification du cache KV comme le seul coupable.