고컨텍스트 길이에서 로컬 코딩 에이전트의 KV 캐시 양자화 문제

로컬 코딩 에이전트가 잘못된 JSON 출력을 생성하거나, 무한 수정 루프에 빠지거나, 컨텍스트가 30k 토큰을 초과하면 도구 호출 매개변수를 망상하기 시작한다면, 이 문제는 모델의 한계가 아닌 공격적인 KV 캐시 양자화 때문일 수 있습니다.

문제: 양자화가 주의 정밀도를 저하시킵니다

제한된 VRAM(예: 24GB)으로 대형 모델(30B+)을 실행할 때, 개발자들은 llama.cpp 또는 ExLlamaV3와 같은 백엔드에서 Q4 또는 Q8 KV 캐시 양자화를 활성화하여 큰 컨텍스트 창(64k+)을 유지하는 경우가 많습니다. 짧은 컨텍스트 복잡성 벤치마크는 최소한의 영향을 보여주지만, 이 접근 방식은 엄격한 구문이 필요한 에이전트 워크플로우에서 문제를 일으킵니다.

기계적 현실: K-캐시(키)는 V-캐시(값)보다 지수적으로 정밀도 손실에 더 민감합니다. K-캐시를 4비트 또는 8비트로 양자화하면 수만 토큰 이전에 정의된 스키마에서 정확한 구문을 일치시키는 주의 메커니즘의 능력이 저하됩니다. 모델은 도구에 대한 지식을 유지하지만 "흐릿한" 키로 인해 망상된 매개변수 구조가 발생합니다.

성능 영향

• llama.cpp에서 과도하게 양자화된 KV 캐시는 CPU에 상당한 역양자화 오버헤드를 강제하여 프롬프트 처리 속도를 심각하게 저하시킵니다
• 문제는 컨텍스트에서 30k+ 토큰 주변에서 일관되게 나타납니다
• 일반적인 증상으로는 잘못된 JSON 출력과 에이전트가 작업 중간에 API 스키마를 잊어버리는 것이 포함됩니다

실용적인 해결책

VRAM이 제한된 설정의 경우:

• 백엔드가 혼합 정밀도를 지원하는지 확인하세요: K-캐시를 FP16 또는 FP8로 유지하고 V-캐시만 Q8로 양자화합니다
• 또는, 인위적으로 높은 토큰 수를 유지하기보다는 양자화되지 않은 캐시를 수용하기 위해 최대 컨텍스트 크기를 줄이세요

이 분석은 OpenClaw 프레임워크에 대한 도구 호출 신뢰성 테스트에서 나왔으며, 사용자들은 에이전트가 작업 중에 API 스키마를 완전히 잊어버린다고 보고했습니다. 컨텍스트 저하에 대한 초기 가정은 변수를 분리하여 KV 캐시 양자화가 유일한 원인임을 밝혀내면서 반증되었습니다.