Apple Silicon에서의 긴 대화를 위한 KV 캐시 재사용으로 200배 속도 향상 달성

이것이 무엇인가

한 개발자가 Apple Silicon에서 MLX 프레임워크를 사용한 로컬 LLM 추론을 위한 세션 기반 KV(키-값) 캐시 재사용 구현 실험 결과를 공유했습니다. 목표는 각 턴마다 전체 컨텍스트를 재처리할 필요를 없애 장기 대화(100K+ 토큰)를 실용적으로 만드는 것이었습니다.

주요 발견 및 벤치마크

핵심 접근 방식은 대화 턴 간에 KV 캐시를 메모리에 유지하고 새로운 토큰만 처리하는 것이었습니다. 이 간단한 아이디어는 극적인 성능 향상을 가져왔습니다:

• 100K 컨텍스트에서 200배 TTFT 개선: 캐시 없음: 126초. 캐시 사용: 0.5초. 이는 처리된 토큰의 99.9% 감소를 나타냅니다.
• 실제 세션 수치: M3 Ultra 512GB Mac Studio에서 Qwen3.5-397B 모델로 266메시지 OpenClaw 에이전트 세션 중 테스트 결과:
  • 캐시 적중률: 93.8%
  • 캐시 적중 시 TTFT (<500 새 토큰): 1.0-1.3초
  • 전체 캐시 미스 시 TTFT (124K 토큰): 528초 (8.8분)

효과가 없었던 것들

개발자는 성능을 저하시키거나 실패한 여러 최적화 시도를 테스트했습니다:

• 사고 토큰 제거: 공간 절약을 위해 모델의 내부 추론 토큰을 캐시에서 제거하려는 시도는 병리적 행동을 유발했습니다. 응답이 31% 길어지고 품질이 떨어졌는데, 이는 모델이 턴 간에 과거 추론을 참조하기 때문입니다.
• KV 캐시 회전 (8192 토큰): 이는 최고의 초당 토큰(TPS) 속도를 제공했지만, 모델이 초기 컨텍스트를 잃어버리게 했고, 회상력이 크게 떨어졌습니다(8개 항목 중 4개).
• KV 8비트 양자화: 이는 TPS가 16.5% 감소하는 결과를 가져왔는데, 계산 오버헤드가 메모리 대역폭 절감을 초과했기 때문입니다.

구현 및 하드웨어

구현은 SoloHeaven이라는 오픈소스 개인 프로젝트의 일부이며, GitHub에서 MIT 라이선스로 이용 가능합니다: https://github.com/joongom/mlx-soloheaven. README에는 전체 벤치마크 테이블이 포함되어 있습니다.

테스트는 512GB RAM과 4TB 저장 공간을 가진 Mac Studio M3 Ultra에서 수행되었으며, MLX용으로 변환된 다음 모델들을 사용했습니다:

• Qwen3.5-122B-A10B-bf16
• Qwen3.5-397B-A17B-MLX-8bit