MTP + Unified Memory повышает производительность вывода llama.cpp на 30% на RTX 5090
Комбинация GGML_CUDA_ENABLE_UNIFIED_MEMORY=1 с многотокенным прогнозированием (MTP) в llama.cpp дает прирост пропускной способности примерно на 30% — 64 ток/сек против 49 ток/сек на модели Qwen3.6-27B Q8_0. Тест проводился на RTX 5090 в паре с 128 ГБ DDR5 5600 CL36 и Ryzen 9 9950X3D.
Команда и конфигурация
CUDA_VISIBLE_DEVICES=0 GGML_CUDA_ENABLE_UNIFIED_MEMORY=1 /home/marcin/llama-server \
-m /home/marcin/Pobrane/Qwen3.6-27B-Q8_0.gguf \
--threads 16 \
-c 262144 -fa on -np 1 \
--spec-type mtp --spec-draft-n-max 3 \
--webui-mcp-proxy \
--chat-template-kwargs '{"preserve_thinking": true}' \
--host 0.0.0.0 \
--port 8090 \
--jinja
Ключевые флаги:
GGML_CUDA_ENABLE_UNIFIED_MEMORY=1— позволяет GPU напрямую обращаться к памяти хоста, минуя CUDA malloc для больших контекстов.--spec-type mtp --spec-draft-n-max 3— включает спекуляцию с многотокенным прогнозированием с глубиной черновика 3.Qwen3.6-27B-Q8_0.gguf— модель Qwen3.6 с 27B параметрами, квантованная до Q8_0, подготовленная с поддержкой MTP от Unsloth.-c 262144— окно контекста 256K;-fa onдля flash attention.
Результаты
- Без MTP (только unified memory): 49 ток/сек
- С MTP + unified memory: 64 ток/сек
- Прирост: на 30% выше пропускная способность
Параметр draft-n-max равный 3 означает, что модель предсказывает до 3 токенов вперед, уменьшая накладные расходы на последовательное декодирование. В сочетании с unified memory избегаются дорогие передачи по PCIe между CPU и GPU.
Для кого это
Разработчики, запускающие локальный инференс с большим контекстом на высокопроизводительных потребительских GPU (RTX 5090) с достаточным объемом системной памяти (≥128 ГБ). Подходит для чат-ботов, ассистентов кода или любых задач LLM, чувствительных к задержкам, где поддерживается спекулятивная выборка.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Проект по реализации хуков Claude Code охватывает все 23 хука
Разработчик создал проект, полностью реализующий все 23 хука Claude code, с видео, объясняющим применение каждого хука, и доступным репозиторием на GitHub.

Storybloq: Трекер проектов, живущий в директории .story вашего репозитория, теперь имеет приложение для Mac
Storybloq — это трекер проектов, который хранит тикеты, задачи, этапы дорожной карты и передачу сессий в формате JSON/markdown внутри папки .story/ в вашем репозитории. Теперь у него есть бесплатное приложение для Mac в App Store. Он интегрируется с Claude Code через CLI и MCP-сервер и был полностью создан с помощью Claude Code.

PayClaw запускает песочницу для платежного MCP-сервера с виртуальными картами Visa.
PayClaw запустил песочную среду для своего платежного MCP-сервера, предлагая виртуальные карты Visa, привязанные к конкретным продавцам, со сроком действия 15 минут, требующие многофакторной аутентификации и одобрения человеком для каждой транзакции, а также декларацию намерения перед выпуском карты. Карты для реального использования запланированы к запуску 4 марта.

Открытый дизайн: Альтернатива с открытым исходным кодом для Claude Design работает на ваших локальных CLI-агентах
Open Design — это локальный дизайн-движок с поддержкой BYOK, который превращает 11 CLI-агентов для написания кода (Claude Code, Codex, Cursor, Gemini CLI и др.) в дизайн-воркфлоу с 72 брендовыми дизайн-системами и 31 композитным навыком, экспортируя HTML/PDF/PPTX/MP4.