DeepSeek-V4-Flash W4A16+FP8과 MTP 자기추측: 2x RTX PRO 6000 Max-Q에서 85 tok/s

DeepSeek-V4-Flash가 2× RTX PRO 6000 Max-Q(각 96GB, NVLink 없음)에서 524k 컨텍스트에서 85.52 tok/s, 128k 단일 스트림에서 약 111 tok/s로 실행됩니다. 이 양자화는 pasta-paul의 W4A16-FP8 베이스를 사용하지만, MTP 헤드가 개조되었습니다(원래 양자화는 로드 시 MTP를 자동으로 제거합니다). 주요 세부 사항은 아래와 같습니다.
벤치마크
- pasta-paul 베이스, MTP 없음, 524k: 52.85 tok/s, 91 ms TTFT (참조)
- 이 모델, 524k 2-스트림: 85.52 tok/s, 155 ms TTFT (+62%)
- 이 모델, 128k 단일 스트림: ~111 tok/s, ~310 ms TTFT (+110%)
- 기본 벤치마크 (소규모 샘플): GSM8K 93%, MMLU 53%, HumanEval (구문) 90%
양자화 세부 사항
- 768 라우팅된 전문가 텐서 (256 전문가 × {w1, w2, w3}): W4A16 INT4 group=128 sym, GPTQ (Cholesky H⁻¹을 사용한 Frantar). 256개의 ultrachat_200k 프롬프트 × 256 max_tokens로 보정 – 17,701 MTP 전방 덤프, 473k 토큰.
- 5개의 어텐션 프로젝션: FP8_BLOCK (업스트림 FP8 가중치, 압축 텐서 호환성을 위해 scale → weight_scale로 이름 변경).
- 공유 전문가, e_proj, h_proj, norms, gate, attn_sink: BF16 / FP32.
Max-Q 특정 수정 사항
Max-Q 워크스테이션 카드(NVLink 없음)에서 --disable-custom-all-reduce를 전달하세요. vLLM의 CustomAllreduce는 CUDA P2P를 사용하며 PCIe 전용 토폴로지에서 교착 상태에 빠집니다. TTFT를 낮추기 위한 NCCL 튜닝(~91 ms 대 ~155 ms):
NCCL_PROTO=LL NCCL_ALGO=Ring NCCL_MIN_NCHANNELS=8 NCCL_NTHREADS=512실행 방법
MTP 패치가 포함된 pasta-paul의 워크스페이스의 패치된 vLLM 포크가 필요합니다. 예시 명령어:
vllm serve LordNeel/DeepSeek-V4-Flash-Acti-MTP-W4A16-FP8 \
--tensor-parallel-size 2 --kv-cache-dtype fp8 --block-size 256 \
--max-model-len 524288 --max-num-seqs 2 \
--gpu-memory-utilization 0.93 \
--tokenizer-mode deepseek_v4 \
--tool-call-parser deepseek_v4 --enable-auto-tool-choice \
--reasoning-parser deepseek_v4 \
--trust-remote-code \
--disable-custom-all-reduce \
--speculative-config '{"method":"mtp","num_speculative_tokens":1}' \
--host 0.0.0.0 --port 8000모델에는 AI 코딩 에이전트(Claude/Codex/Cursor)를 통해 설정하기 위한 AGENTS.md 런북도 포함되어 있습니다.
📖 전체 소스 읽기: r/LocalLLaMA
👀 See Also

오픈클로: 당신의 궁극적인 빠른 참조 치트시트
OpenClaw의 핵심을 파헤치는 유용한 레퍼런스 치트시트를 살펴보세요. AI 코딩 경험을 간소화하기 위한 핵심 기능과 기능들을 추출하세요.

OpenClaw 커뮤니티 스레드: 여러분의 AI 코딩 환경과 월간 비용을 공유해 주세요
r/openclaw의 레딧 스레드는 AI 코딩 에이전트를 사용하는 개발자를 위한 실용적인 자료를 만들기 위해 실제 설정과 비용을 수집합니다. 이 스레드는 토큰 사용량을 줄이는 방법, 효과적인 로컬/클라우드 모델 조합, 일상적으로 사용하기에 충분히 안정적인 구성 등 세 가지 일반적인 질문을 다룹니다.

ik_llama.cpp MTP를 사용한 단일 3090에서의 Qwen 3.5 122B MoE 35 t/s
ik_llama.cpp의 융합 MoE 연산이 MTP 성능을 오프로드된 전문가에서 +20% 향상시킵니다. Qwen 3.5 122B MoE가 단일 3090과 192GB RAM에서 35 t/s로 실행됩니다. 클라우드 불필요.

iCloud 동기화를 통해 iPhone 사진을 Cowork으로 보내는 iOS 단축어 해결 방법
개발자가 'PhoPo'라는 iOS 단축어를 만들어 아이폰 사진을 JPEG로 변환하고 크기를 조정한 후 Cowork이 접근할 수 있는 iCloud 동기화 폴더에 저장함으로써, Claude가 모바일 기기의 스크린샷과 사진을 분석할 수 있도록 했습니다.