Qwen 3.6-35B-A3B KV 캐시 벤치마크: M5 Max에서 f16 vs q8_0 vs Turbo3 vs Turbo4, 최대 1M 컨텍스트

✍️ OpenClawRadar📅 게시일: April 28, 2026🔗 Source
Qwen 3.6-35B-A3B KV 캐시 벤치마크: M5 Max에서 f16 vs q8_0 vs Turbo3 vs Turbo4, 최대 1M 컨텍스트
Ad

한 Reddit 사용자가 Qwen 3.6-35B-A3B Q8을 TheTom의 TurboQuant Metal 포크(GitHub: TheTom/llama-cpp-turboquant, 브랜치 feature/turboquant-kv-cache)를 사용하여 128GB 통합 메모리를 장착한 MacBook Pro M5 Max에서 심층 스윕을 실행했습니다. 0부터 1M 컨텍스트 토큰까지 f16, q8_0, turbo3(3비트), turbo4(4비트)의 네 가지 KV 캐시 유형(대칭형 K 및 V, flash-attn 켜짐, mlock 켜짐)을 테스트했습니다.

하드웨어 및 빌드

M5 Max, 128GB 통합 메모리. cmake -B build -DGGML_METAL=ON으로 빌드. llama-bench 사용, 셀당 3회 반복, flash-attn 켜짐, mlock 켜짐. 야간에 8시간 벽시계 시간 소요.

생성 처리량 (tok/s)

깊이f16q8_0turbo3turbo4
089.487.479.579.7
8K84.279.272.271.2
32K72.667.861.561.8
128K44.440.736.037.7
256KOOM26.622.925.5
512KOOMOOM13.316.0
1MOOMOOM6.5OOM
Ad

프롬프트 처리 처리량 (tok/s)

깊이f16q8_0turbo3turbo4
02962294829042854
8K2098162316531439
32K1063802784678
128K321245253206
256KOOM124128101
512KOOMOOM6656
1MOOMOOM30OOM

주요 시사점

  • 깊이 0에서 f16이 프리필에서 약간 앞서며 turbo3는 디코드에서 약 10% 느림.
  • 128K에서 turbo3 프리필(253 tok/s)은 q8_0(245 tok/s)과 일치함 — 더 작은 캐시로 대역폭 압력 감소.
  • 256K에서 turbo3가 프리필에서 turbo4보다 +27% 우세(128 대 101)하지만, 디코드에서는 turbo4가 +11% 우세(25.5 대 22.9). 512K에서는 디코드 격차가 +20%로 벌어짐(turbo4 16.0 대 turbo3 13.3).
  • turbo3만이 1M 컨텍스트에 맞는 유일한 캐시 유형임(6.5 tok/s 디코드). 1M에서 메모리: 약 89GB(가중치 37GB, KV 캐시 약 52GB).

워크로드 권장 사항

  • 코딩 에이전트(깊은 컨텍스트, 많은 생성 토큰): turbo4
  • RAG / 배치 QA(무거운 프리필, 짧은 답변): turbo3
  • 1M 컨텍스트: turbo3만
  • 짧은 대화형(<32K): f16(가능한 경우) 또는 q8_0

주의사항

이는 단일 M5 Max 기준입니다. 메모리 대역폭과 GPU 코어에 따라 교차점이 변경될 수 있습니다. 대칭형 K/V만 테스트되었습니다. 비대칭 조합(예: -ctk q8_0 -ctv turbo4)은 벤치마크되지 않았습니다. TheTom의 포크는 연구 수준이며 llama.cpp 메인에 업스트림되지 않았습니다.

📖 전체 출처 읽기: r/LocalLLaMA

Ad

👀 See Also

실제 작업에서의 6,000개 AI 에이전트 경쟁 관찰 결과
News

실제 작업에서의 6,000개 AI 에이전트 경쟁 관찰 결과

AI 에이전트가 글쓰기, 연구, 리드 생성과 같은 작업을 수행하는 경쟁 시장에서 약 30%의 제출물이 채우기용/스팸으로 밝혀졌으며, 인간이 개입한 에이전트가 최고 품질을 생산하고, 다중 에이전트 경쟁에서 상위 3~5개 제출물은 실제 사용 가능한 결과를 제공합니다.

OpenClawRadar
Docker 컨테이너: Cron 작업에 대한 반론
News

Docker 컨테이너: Cron 작업에 대한 반론

r/openclaw의 토론은 Docker 컨테이너 내에서 cron 작업 사용이라는 논쟁적인 주제를 강조합니다. 즉각적인 자동화의 매력이 있을 수 있지만, 커뮤니티는 이를 권장하지 않습니다.

OpenClawRadar
오픈클로 실험: 신호 대 잡음비 향상을 위해 침묵을 선택하는 AI 에이전트
News

오픈클로 실험: 신호 대 잡음비 향상을 위해 침묵을 선택하는 AI 에이전트

OpenClaw 실험은 AI 에이전트가 가치를 더할 수 없을 때 작업을 건너뛸 수 있는 자율성을 부여하며, 이유와 함께 '침묵 로그'에 침묵 결정을 기록합니다. 이 시스템은 콘텐츠 생성 전에 LLM 호출을 사용하고, 3일 연속 침묵 후에 임계값을 자동으로 조정합니다.

OpenClawRadar
DeepSeek, 최신 AI 모델을 Nvidia와 AMD에 공개하지 않음
News

DeepSeek, 최신 AI 모델을 Nvidia와 AMD에 공개하지 않음

로이터 소식통에 따르면 딥시크가 엔비디아와 AMD를 포함한 미국 칩 제조업체에 최신 AI 모델을 제공하지 않고 있다고 합니다. 이 기사는 해커 뉴스에서 19점과 3개의 댓글을 받았습니다.

OpenClawRadar