V100 32GB에서 MTP를 사용한 Qwen 3.6 27B: llama.cpp 브랜치를 통해 54 t/s

✍️ OpenClawRadar📅 게시일: May 6, 2026🔗 Source
V100 32GB에서 MTP를 사용한 Qwen 3.6 27B: llama.cpp 브랜치를 통해 54 t/s
Ad

r/LocalLLaMA의 한 사용자가 PCIe 어댑터를 사용한 V100 32GB SXM 모듈에서 Multi-Token Prediction(MTP)으로 Qwen 3.6 27B를 실행한 인상적인 결과를 보고했습니다. 이 설정은 am17an의 llama.cpp MTP 브랜치와 해당 MTP GGUF 양자화 파일을 사용합니다. 주요 사양: Q8_0 KV 캐시(200k 캐시 한도), llama-server를 통해 VS Code Copilot 백엔드로 실행.

성능 수치

  • MTP 없음: 29-30 토큰/초
  • MTP 사용: 54-55 토큰/초(150W 전력 제한)
  • 50k 토큰 컨텍스트 이후: 40-45 t/s로 하락

브랜치: am17an의 MTP 포크. 빌드 및 실행은 간단했습니다 — '한 번에 풀(pull)하고 빌드'했으며 llama-server가 문제없이 실행되었습니다. 이 설정은 도구 호출과 하위 에이전트를 잘 처리했으며, VRAM 제한(32GB)에도 불구하고 '매우 통찰력 있는 코드 리뷰와 리팩토링'을 제공했습니다.

이는 V100과 같은 구형 데이터센터 하드웨어에서 LLM을 실행하는 개발자에게 특히 관련이 있습니다. MTP는 이 모델의 처리량을 효과적으로 두 배로 늘려 코딩 어시스턴트 워크로드에 실질적인 이점을 보여줍니다.

📖 전체 소스 읽기: r/LocalLLaMA

Ad

👀 See Also

RescueBot: OpenClaw 봇을 위한 텔레그램 기반 백업 및 복원 시스템
Tools

RescueBot: OpenClaw 봇을 위한 텔레그램 기반 백업 및 복원 시스템

RescueBot은 OpenClaw 봇 설정을 자동으로 스냅샷하고 Telegram 명령어를 통해 원터치 복원을 가능하게 하는 경량 스킬로, 장애 발생 시 SSH 접근이 필요 없습니다.

OpenClawRadar
클로드 생태계 하이라이트가 포함된 260개 이상의 AI 에이전트 도구 큐레이티드 리스트
Tools

클로드 생태계 하이라이트가 포함된 260개 이상의 AI 에이전트 도구 큐레이티드 리스트

GitHub 저장소에는 Claude Code(80.9% SWE-bench), Claude Computer Use, Claude in Chrome와 같은 Claude 관련 항목을 포함하여 260개 이상의 AI 에이전트 도구가 선별된 목록이 있습니다. 또한 Cline 및 Cursor와 같이 Claude와 잘 작동하는 도구도 포함되어 있습니다.

OpenClawRadar
harshal-mcp-proxy 이제 npm에서 사용 가능: 단일 데몬이 12개의 MCP 서버 설정 대체
Tools

harshal-mcp-proxy 이제 npm에서 사용 가능: 단일 데몬이 12개의 MCP 서버 설정 대체

harshal-mcp-proxy가 이제 54 kB npm 패키지로 제공됩니다. 전역 설치, 데몬 실행으로 12개의 개별 MCP 서버 구성을 6개의 도구로 대체하여 세션당 약 2.7GB RAM과 50K 토큰을 절약합니다.

OpenClawRadar
AI 샌드박스 매니저: 헤드리스 리눅스에서 GPU 패스스루와 컴퓨터 사용이 가능한 LXC 기반 Codex 샌드박스
Tools

AI 샌드박스 매니저: 헤드리스 리눅스에서 GPU 패스스루와 컴퓨터 사용이 가능한 LXC 기반 Codex 샌드박스

ai-sandbox-manager는 헤드리스 Linux에서 Codex 에이전트를 위한 오픈소스 LXC 기반 샌드박스입니다. GPU 패스스루, 전체 sudo 액세스, 영구 환경 및 CUA를 통한 컴퓨터 사용을 제공하면서 에이전트를 호스트 OS로부터 격리합니다.

OpenClawRadar