高コンテキスト長におけるローカルコーディングエージェントのKVキャッシュ量子化問題

ローカルコーディングエージェントが不正なJSON出力を生成し始めたり、無限修正ループに陥ったり、コンテキストが3万トークンを超えるとツール呼び出しパラメータを幻覚する場合、問題はモデルの制限ではなく、過度なKVキャッシュ量子化にある可能性があります。

問題点：量子化がアテンション精度を低下させる

大規模モデル（30B以上）を限られたVRAM（24GBなど）で実行する際、開発者はllama.cppやExLlamaV3などのバックエンドでQ4またはQ8のKVキャッシュ量子化を有効にし、大規模なコンテキストウィンドウ（64k以上）を維持することがよくあります。短いコンテキストのパープレキシティベンチマークでは影響は最小限に見えますが、このアプローチは厳密な構文を必要とするエージェントワークフローでは破綻します。

機械的な現実：Kキャッシュ（キー）はVキャッシュ（値）よりも指数関数的に精度低下に敏感です。Kキャッシュを4ビットまたは8ビットに量子化すると、数万トークン前に定義されたスキーマから正確な構文を一致させるアテンションメカニズムの能力が低下します。モデルはツールの知識を保持しますが、「曖昧な」キーを持つため、幻覚的なパラメータ構造が生じます。

パフォーマンスへの影響

• llama.cppでは、過度に量子化されたKVキャッシュは、CPUに大幅な非量子化オーバーヘッドを強制し、プロンプト処理速度に深刻な影響を与えます
• 問題は一貫して3万トークン以上のコンテキストで現れます
• 一般的な症状には、不正なJSON出力や、エージェントがタスク中にAPIスキーマを忘れることが含まれます

実用的な回避策

VRAMが制限された環境の場合：

• バックエンドが混合精度をサポートしているか確認：KキャッシュをFP16またはFP8に保ち、VキャッシュのみをQ8に量子化します
• または、人工的に高いトークン数を維持する代わりに、非量子化キャッシュに対応するために最大コンテキストサイズを削減します

この分析は、OpenClawフレームワークのツール呼び出し信頼性テストから生まれました。ユーザーは、エージェントがタスク中にAPIスキーマを完全に忘れると報告していました。コンテキスト劣化に関する当初の仮定は、変数を分離してKVキャッシュ量子化が唯一の原因であると明らかになったことで否定されました。