Qwen 3.6-35B-A3B KV 캐시 벤치마크: M5 Max에서 f16 vs q8_0 vs Turbo3 vs Turbo4, 최대 1M 컨텍스트

✍️ OpenClawRadar📅 게시일: April 28, 2026🔗 Source
Qwen 3.6-35B-A3B KV 캐시 벤치마크: M5 Max에서 f16 vs q8_0 vs Turbo3 vs Turbo4, 최대 1M 컨텍스트
Ad

한 Reddit 사용자가 Qwen 3.6-35B-A3B Q8을 TheTom의 TurboQuant Metal 포크(GitHub: TheTom/llama-cpp-turboquant, 브랜치 feature/turboquant-kv-cache)를 사용하여 128GB 통합 메모리를 장착한 MacBook Pro M5 Max에서 심층 스윕을 실행했습니다. 0부터 1M 컨텍스트 토큰까지 f16, q8_0, turbo3(3비트), turbo4(4비트)의 네 가지 KV 캐시 유형(대칭형 K 및 V, flash-attn 켜짐, mlock 켜짐)을 테스트했습니다.

하드웨어 및 빌드

M5 Max, 128GB 통합 메모리. cmake -B build -DGGML_METAL=ON으로 빌드. llama-bench 사용, 셀당 3회 반복, flash-attn 켜짐, mlock 켜짐. 야간에 8시간 벽시계 시간 소요.

생성 처리량 (tok/s)

깊이f16q8_0turbo3turbo4
089.487.479.579.7
8K84.279.272.271.2
32K72.667.861.561.8
128K44.440.736.037.7
256KOOM26.622.925.5
512KOOMOOM13.316.0
1MOOMOOM6.5OOM
Ad

프롬프트 처리 처리량 (tok/s)

깊이f16q8_0turbo3turbo4
02962294829042854
8K2098162316531439
32K1063802784678
128K321245253206
256KOOM124128101
512KOOMOOM6656
1MOOMOOM30OOM

주요 시사점

  • 깊이 0에서 f16이 프리필에서 약간 앞서며 turbo3는 디코드에서 약 10% 느림.
  • 128K에서 turbo3 프리필(253 tok/s)은 q8_0(245 tok/s)과 일치함 — 더 작은 캐시로 대역폭 압력 감소.
  • 256K에서 turbo3가 프리필에서 turbo4보다 +27% 우세(128 대 101)하지만, 디코드에서는 turbo4가 +11% 우세(25.5 대 22.9). 512K에서는 디코드 격차가 +20%로 벌어짐(turbo4 16.0 대 turbo3 13.3).
  • turbo3만이 1M 컨텍스트에 맞는 유일한 캐시 유형임(6.5 tok/s 디코드). 1M에서 메모리: 약 89GB(가중치 37GB, KV 캐시 약 52GB).

워크로드 권장 사항

  • 코딩 에이전트(깊은 컨텍스트, 많은 생성 토큰): turbo4
  • RAG / 배치 QA(무거운 프리필, 짧은 답변): turbo3
  • 1M 컨텍스트: turbo3만
  • 짧은 대화형(<32K): f16(가능한 경우) 또는 q8_0

주의사항

이는 단일 M5 Max 기준입니다. 메모리 대역폭과 GPU 코어에 따라 교차점이 변경될 수 있습니다. 대칭형 K/V만 테스트되었습니다. 비대칭 조합(예: -ctk q8_0 -ctv turbo4)은 벤치마크되지 않았습니다. TheTom의 포크는 연구 수준이며 llama.cpp 메인에 업스트림되지 않았습니다.

📖 전체 출처 읽기: r/LocalLLaMA

Ad

👀 See Also

구글이 AI 코딩 도구 학습을 위해 플레이 스토어 코드를 조용히 구매하다
News

구글이 AI 코딩 도구 학습을 위해 플레이 스토어 코드를 조용히 구매하다

구글이 AI 코딩 도구 훈련을 위해 Android 개발자에게 앱 코드 구매를 제안하고 있는 것으로 알려졌습니다.

OpenClawRadar
Claude Code v2.1.186: MCP CLI 인증, Bash 자동 응답, 20개 이상 수정 사항
News

Claude Code v2.1.186: MCP CLI 인증, Bash 자동 응답, 20개 이상 수정 사항

Claude Code v2.1.186이 헤드리스 MCP 인증을 위한 CLI, 자동 배시 명령 응답, 슬립 복구, 서브에이전트 권한, 세션 비용 표시 등 20개 이상의 버그 수정을 추가했습니다.

OpenClawRadar
클로드 AI는 인스턴스 간에 특이한 구두점만으로 이루어진 커뮤니케이션 패턴을 보여줍니다.
News

클로드 AI는 인스턴스 간에 특이한 구두점만으로 이루어진 커뮤니케이션 패턴을 보여줍니다.

두 개의 Claude Sonnet 4.6 인스턴스가 대화 중 정상 메시지 하나 이후에 "- . . ? , \"-\" , : \" , - \"? ."와 같은 구두점만으로 구성된 출력 시퀀스로 전환했습니다. 수신 측 Claude는 이러한 시퀀스를 의미 있는 의사소통으로 해석한 반면, ChatGPT 및 Grok과 같은 다른 모델들은 그렇지 않았습니다.

OpenClawRadar
포브스: AI 해고 청구서가 다가온다 — CTO가 두 번 치른다
News

포브스: AI 해고 청구서가 다가온다 — CTO가 두 번 치른다

Forbes는 AI 기반 해고 비용이 두 번 기업에 타격을 줄 것이라고 주장한다. 첫 번째는 퇴직금과 사기 저하, 두 번째는 기대했던 효율성 향상이 실현되지 않을 때 재고용 비용이다.

OpenClawRadar