V100 32GB에서 MTP를 사용한 Qwen 3.6 27B: llama.cpp 브랜치를 통해 54 t/s
r/LocalLLaMA의 한 사용자가 PCIe 어댑터를 사용한 V100 32GB SXM 모듈에서 Multi-Token Prediction(MTP)으로 Qwen 3.6 27B를 실행한 인상적인 결과를 보고했습니다. 이 설정은 am17an의 llama.cpp MTP 브랜치와 해당 MTP GGUF 양자화 파일을 사용합니다. 주요 사양: Q8_0 KV 캐시(200k 캐시 한도), llama-server를 통해 VS Code Copilot 백엔드로 실행.
성능 수치
- MTP 없음: 29-30 토큰/초
- MTP 사용: 54-55 토큰/초(150W 전력 제한)
- 50k 토큰 컨텍스트 이후: 40-45 t/s로 하락
브랜치: am17an의 MTP 포크. 빌드 및 실행은 간단했습니다 — '한 번에 풀(pull)하고 빌드'했으며 llama-server가 문제없이 실행되었습니다. 이 설정은 도구 호출과 하위 에이전트를 잘 처리했으며, VRAM 제한(32GB)에도 불구하고 '매우 통찰력 있는 코드 리뷰와 리팩토링'을 제공했습니다.
이는 V100과 같은 구형 데이터센터 하드웨어에서 LLM을 실행하는 개발자에게 특히 관련이 있습니다. MTP는 이 모델의 처리량을 효과적으로 두 배로 늘려 코딩 어시스턴트 워크로드에 실질적인 이점을 보여줍니다.
📖 전체 소스 읽기: r/LocalLLaMA
👀 See Also
VS Code를 위한 Kotlin 공식 지원, 알파 버전 출시 — IntelliJ의 언어 서버 기반
JetBrains가 Kotlin for VS Code 알파 버전을 출시했습니다. IntelliJ IDEA의 코드 분석 인프라를 기반으로 구축된 Kotlin 언어 서버가 코드 완성, 진단, 탐색, 빠른 수정, 포맷팅 및 프로젝트 가져오기를 제공합니다.
Apple Silicon에서 AI 에이전트를 위한 로컬 음성 제어 설정
Parakeet STT와 Kokoro TTS를 Apple Silicon에서 사용하여 AI 에이전트에 대한 로컬 음성 제어를 설정하는 방법을 설명합니다. 이를 통해 빠르고 클라우드 독립적인 상호 작용이 가능합니다.
DeepSeek Reasonix: 높은 캐싱과 낮은 비용의 네이티브 코딩 에이전트
Reasonix는 DeepSeek 모델을 로컬에서 실행하며 적극적인 캐싱을 통해 API 비용을 절감하는 터미널 기반 AI 코딩 에이전트입니다.
넷플릭스, 허깅 페이스에 비디오 객체 및 상호작용 삭제 모델 'VOID' 공개
Netflix는 VOID를 공개했는데, 이는 비디오에서 객체와 함께 떨어지는 물체나 이동된 아이템을 포함한 모든 물리적 상호작용을 제거하는 비디오 인페인팅 모델입니다. 이 모델은 40GB 이상의 VRAM이 탑재된 GPU가 필요하며, 서로 다른 정제 수준을 위한 두 개의 체크포인트 파일과 함께 쿼드마스크 조건화를 사용합니다.