Запуск Qwen3.6 27B и 35B на 6 ГБ VRAM с ik_llama: практические конфигурации и бенчмарки

✍️ OpenClawRadar📅 Опубликовано: 17 мая 2026 г.🔗 Source
Запуск Qwen3.6 27B и 35B на 6 ГБ VRAM с ik_llama: практические конфигурации и бенчмарки
Ad

Пользователь Reddit сообщает об успешном запуске моделей Qwen3.6 27B и 35B A3B на старом игровом ноутбуке с RTX 2060 Mobile (6 ГБ VRAM) и 32 ГБ ОЗУ с использованием ik_llama и llama.cpp. Ключевые оптимизации включают двойное спекулятивное декодирование с MTP и ngram, --fit и --mtp-requantize-output-tensor, а также переупаковку выходного тензора. Ниже приведены точные конфиги и наблюдаемые скорости.

Конфиг для Qwen3.6 27B (Q3_K_XL)

export GGML_CUDA_GRAPHS=1
./llama-server \
  -m /mnt/second-ssd/lib/llama.cpp/models/Qwen3.6-27B-MTP-UD-Q3_K_XL.gguf \
  -c 16000 \
  -b 512 -ub 512 \
  --fit --fit-margin 3076 \
  -fa on \
  -np 1 \
  -ctk q4_0 -ctv q4_0 \
  --mtp-requantize-output-tensor q4_0 \
  -khad -vhad -rtr \
  --threads 6 --threads-batch 8 \
  --slot-save-path ./slots \
  --prompt-cache "prompt.cache" \
  --port 8888 --host 0.0.0.0 \
  --spec-stage ngram-mod:n_max=64,n_min=2,spec-ngram-size-n=16 \
  --spec-stage mtp:n_max=1,draft-p-min=0.0 \
  --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 \
  --jinja \
  --chat-template-kwargs '{"preserve_thinking": true}' \
  --reasoning on
Ad

Конфиг для Qwen3.6 35B A3B (IQ4_XS, дистиллят Claude Opus)

export GGML_CUDA_GRAPHS=1
./llama-server \
  -m /mnt/second-ssd/lib/llama.cpp/models/lordx64-Claude-4.7-Opus-Reasoning-Distilled-Qwen3.6-35B-A3B-MTP-IQ4_XS.gguf \
  -c 80000 \
  -b 1024 -ub 1024 \
  --fit --fit-margin 2048 \
  -fa on \
  -np 1 \
  -ctk q8_0 -ctv q4_0 \
  --mtp-requantize-output-tensor q4_0 \
  -khad -vhad -rtr \
  --threads 6 --threads-batch 8 \
  --slot-save-path ./slots \
  --prompt-cache "prompt.cache" \
  --mlock --no-mmap \
  --port 8888 --host 0.0.0.0 \
  --spec-stage ngram-mod:n_max=64,n_min=2,spec-ngram-size-n=16 \
  --spec-stage mtp:n_max=3,draft-p-min=0.0 \
  --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 \
  --jinja \
  --chat-template-kwargs '{"preserve_thinking": true}' \
  --reasoning on

Показатели производительности

  • 27B: префилл ~100 т/с, первый токен до 4 т/с, ~1 т/с при контексте 10k
  • 35B A3B: префилл ~40 т/с, первый токен до 15 т/с, стабильные ~11 т/с при контексте 10k

Пользователь отмечает, что 27B стал пригоден для рассуждений о файлах до 1000 строк (занимает минуты, но полезно), а дистиллят 35B Opus выдаёт стабильные 11 т/с. Он использует их для генерации mermaid-диаграмм, изображений, markdown и PDF в рабочих процессах little-coder или агентного кодинга.

📖 Читать полный источник: r/LocalLLaMA

Ad

👀 Смотрите также

Исправление ошибок Claude Cowork «Не удалось запустить рабочее пространство» в Windows 11 Home
Гайды

Исправление ошибок Claude Cowork «Не удалось запустить рабочее пространство» в Windows 11 Home

Пользователь решил ошибки запуска Claude Cowork в Windows 11 Home, установив Windows Subsystem for Linux (WSL2) из Microsoft Store, что необходимо для базовой технологии виртуальных машин.

OpenClawRadar
Обходной путь в iOS Shortcuts для отправки фотографий с iPhone в Cowork через синхронизацию iCloud
Гайды

Обходной путь в iOS Shortcuts для отправки фотографий с iPhone в Cowork через синхронизацию iCloud

Разработчик создал iOS-ярлык под названием "PhoPo", который преобразует фотографии с iPhone в JPEG, изменяет их размер и сохраняет в папку, синхронизируемую через iCloud, доступную для Cowork, что позволяет Claude анализировать скриншоты и фотографии с мобильных устройств.

OpenClawRadar
Для создания 9 навыков Клода в Solo Studio: укладка инструкций для реальной работы
Гайды

Для создания 9 навыков Клода в Solo Studio: укладка инструкций для реальной работы

Один разработчик создал девять навыков Claude для видеопроизводства, аналитики, SEO, финансового моделирования и других задач. Ключевая идея: пишите навыки как инструкции для опытного коллеги, а не как документацию. Навыки срабатывают автоматически и комбинируются при пересечении задач.

OpenClawRadar
Три ключевых навыка OpenClaw для стабильной настройки: Память, Безопасность и Обнаружение.
Гайды

Три ключевых навыка OpenClaw для стабильной настройки: Память, Безопасность и Обнаружение.

В посте на Reddit рекомендуется сначала установить три конкретных типа навыков OpenClaw: навык исправления памяти для предотвращения потери контекста, навык локальной проверки безопасности для поиска вредоносного кода и курируемый хаб для поиска поддерживаемых инструментов.

OpenClawRadar