Qwen 3.6 27B, llama.cpp에서 MTP 추론적 디코딩으로 2.5배 속도 달성

✍️ OpenClawRadar📅 게시일: May 6, 2026🔗 Source
Qwen 3.6 27B, llama.cpp에서 MTP 추론적 디코딩으로 2.5배 속도 달성
Ad

한 Reddit 사용자가 Qwen 3.6 27B에 대해 MTP(Multi-Token Prediction)를 활성화하는 대기 중인 PR(#22673)과 함께 llama.cpp를 컴파일했습니다. MTP는 모델에 내장된 텐서 레이어를 사용하여 추측 디코딩을 수행하며, Mac M2 Max 96GB에서 약 11 tok/s에서 28 tok/s로 2.5배 속도 향상을 주장합니다.

주요 세부 사항

  • 모델: Qwen 3.6 27B (Qwen2.5-3.0 아키텍처 변형)
  • 테스트 하드웨어: Mac M2 Max 96GB
  • 결과: MTP 사용 시 28 tok/s (미사용 시 약 11 tok/s)
  • 컨텍스트 지원: 48GB Mac에서 turbo4 KV 캐시로 최대 262K 토큰
  • 양자화: 사용자가 froggeric/Qwen3.6-27B-MTP-GGUF에 업로드한 사전 변환 GGUF 양자화 파일

컴파일 지침

git clone --depth 1 https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git fetch origin pull/22673/head:mtp-pr && git checkout mtp-pr
cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --target llama-cli llama-server
Ad

서버 명령어

llama-server -m Qwen3.6-27B-Q5_K_M-mtp.gguf \
  --mmproj mmproj-Qwen3.6-27B-f16.gguf \
  --spec-type mtp --spec-draft-n-max 5 \
  --cache-type-k turbo4 --cache-type-v turbo4 \
  -c 262144 --temp 0.7 --top-k 20 -ngl 99 --port 8081

세 가지 최적화 조합:

  • --spec-type mtp --spec-draft-n-max 5: MTP 추측 디코딩 활성화 (2.5배 빠름)
  • --cache-type-k turbo4 --cache-type-v turbo4: 4.25비트 KV 캐시 (16비트 대비 메모리 1/4)
  • -c 262144: 262K 컨텍스트 윈도우 (turbo4로 48GB에 적합)

하드웨어 권장 사항

Apple Silicon 및 NVIDIA GPU 양자화/KV 캐시 테이블이 RAM이 제한된 환경(예: 16GB Apple Silicon에서 48K 컨텍스트의 IQ2_M)을 위해 소스에 제공됩니다. 비전(mmproj) 지원은 32GB 이상 구성에서 사용 가능합니다.

추가 수정 사항

사용자는 또한 vLLM 특정 형식 때문에 깨졌던 Qwen jinja 채팅 템플릿에 대한 7가지 수정 사항을 게시했습니다. 이제 llama.cpp 및 다른 도구와 호환됩니다.

참고: Hugging Face의 기존 GGUF 파일에는 MTP 지원이 포함되어 있지 않습니다. PR을 적용하여 다시 변환해야 합니다. 사용자는 초기 업로드가 불완전할 수 있음을 경고합니다. Hugging Face 리포지토리 상태를 확인하세요.

📖 전체 소스 읽기: r/LocalLLaMA

Ad

👀 See Also

SmallClaw v1.0.2는 로컬 LLM을 위한 백그라운드 작업 시스템을 추가합니다.
Tools

SmallClaw v1.0.2는 로컬 LLM을 위한 백그라운드 작업 시스템을 추가합니다.

SmallClaw v1.0.2는 단계 검증을 통해 소형 모델의 신뢰성 문제를 해결하며, 다단계 워크플로우를 자율적으로 실행하는 백그라운드 작업 엔진을 도입했습니다. 이 업데이트는 8GB 머신에서 qwen3:4b와 같은 4B급 모델에서 테스트되었습니다.

OpenClawRadar
cc-session-utils: Claude 코드 세션 및 비용 관리를 위한 TUI 대시보드
Tools

cc-session-utils: Claude 코드 세션 및 비용 관리를 위한 TUI 대시보드

한 개발자가 Claude Code 세션 파일을 관리하고 사용 비용을 추적하기 위한 터미널 UI 도구인 cc-session-utils를 구축했습니다. 이 도구는 모델별 비용 추적, 고아 세션 정리, 프로젝트 간 데이터 마이그레이션 기능을 제공하며, Python 3.11+가 필요하고 Textual로 제작되었습니다.

OpenClawRadar
TextForge: LLM 워크플로우를 위한 Claude Code 기반 이메일 승인 도구
Tools

TextForge: LLM 워크플로우를 위한 Claude Code 기반 이메일 승인 도구

한 개발자가 Claude Code를 사용하여 TextForge를 구축하여 이메일 워크플로우에 필수 승인 게이트를 자동화했으며, 명시적인 허가 없이는 LLM이 이메일을 보내지 못하도록 방지했습니다. 이 도구는 Pipedrive CRM과 통합되며 Google CASA2 보안 감사 준수 요구사항을 충족해야 했습니다.

OpenClawRadar
오픈소스 감시 도구, OpenClaw 생태계에서 에이전트 신원 문제 해결
Tools

오픈소스 감시 도구, OpenClaw 생태계에서 에이전트 신원 문제 해결

OpenClaw 사용자가 웹 서비스를 구축하는 과정에서 인간 사용자와 구분할 수 없는 에이전트 트래픽을 발견했으며, 이는 W3C DID 기반의 오픈 소스 신원 계층인 Vigil 개발로 이어졌습니다. Vigil은 에이전트를 위한 암호화 자격 증명과 행동 기록을 제공합니다.

OpenClawRadar