hipEngine：面向RDNA3（Strix Halo、7900 XTX）的快速原生Qwen 3.6推理
Появился новый нативный движок вывода для Qwen 3.6 MoE и плотных моделей на базе ROCm: hipEngine от разработчика, создавшего FastDMS и ParoQuant. Он написан на Python с горячими участками на HIP/C++ и использует нативные библиотеки AMD, такие как hipBLASLt, hipGraph и AOTriton. Нет тяжелой зависимости от PyTorch.
Целевое оборудование
gfx1100— Radeon RX 7900 XTX / Radeon Pro W7900 (RDNA3). Также поддерживается Strix Halo.
Бенчмарки против llama.cpp
На Qwen 3.6 35B MoE (с использованием ParoQuant 4.68 bpw и GGUF Q4_K_S) hipEngine соответствует или превосходит llama.cpp HIP и Vulkan при всех тестируемых длинах контекста (512–128K). Ключевые показатели (префилл ток/с, 512 промпт / 128 генерация):
- hipEngine PARO: 2718.497 ток/с
- hipEngine GGUF Q4_K_S: 2258.847 ток/с
- llama.cpp HIP: 2436.049 ток/с
- llama.cpp Vulkan: 1816.927 ток/с
При контексте 128K префилл hipEngine PARO достигает 1055 ток/с против 710 ток/с у llama.cpp HIP — улучшение на 48%. Скорость декодирования сопоставима (диапазон 60–127 ток/с).
Эффективность памяти
hipEngine использует почти без потерь кэш KV в INT8 с почти нулевым снижением скорости. Это позволяет запускать полное окно контекста Qwen 3.6 256K менее чем в 24 ГБ на одной 7900 XTX:
- Контекст 128K, кэш KV BF16: пиковое потребление 21.04 ГиБ, префилл 1091.9 ток/с, декодирование 62.2 ток/с
- Контекст 128K, кэш KV INT8: пиковое потребление 19.80 ГиБ, префилл 1076.5 ток/с, декодирование 60.0 ток/с
- Пиковая память при 128K (hipEngine PARO): 22.122 ГиБ против 23.605 ГиБ у llama.cpp HIP
Возможности
- Открытый исходный код под лицензией AGPLv3
- Нативный ROCm, без зависимости от PyTorch в горячем пути
- Использует hipBLASLt, hipGraph, AOTriton
- ParoQuant портирован на ROCm
- Кэш KV в INT8 (почти без потерь, минимальное влияние на скорость)
- Поддерживает Qwen 3.6 MoE и плотные модели
Если вы запускаете Qwen 3.6 на оборудовании RDNA3, hipEngine стоит внимания — особенно для задач с ограничением памяти и контекстом 256K.
📖 Читать полный источник: r/LocalLLaMA
👀 Смотрите также
GuppyLM: 9-миллионная языковая модель, созданная с нуля для образовательных целей
GuppyLM — это языковая модель с примерно 9 миллионами параметров, обученная с нуля на 60 тысячах синтетических диалогов, использующая стандартную архитектуру трансформера с 6 слоями, 384 скрытыми измерениями и 6 головами внимания. Она обучается примерно за 5 минут на бесплатном GPU T4 в Colab и говорит с рыбьей личностью, сосредоточенной на воде, еде и жизни в аквариуме.
Результаты тестирования: 331 модель GGUF протестирована на Mac Mini M4 16 ГБ
Тестирование 331 модели GGUF на Mac Mini M4 с 16 ГБ оперативной памяти выявило только 11 Парето-оптимальных моделей, и все они имеют архитектуру Mixture-of-Experts. Модели Mixture-of-Experts доминируют по производительности со средней скоростью 20,0 токенов/сек против 4,4 у плотных моделей.
Переход от правил CLAUDE.md к обеспечению соблюдения на уровне инфраструктуры с помощью Citadel
Разработчик обнаружил, что добавление более 100 строк правил в файл CLAUDE.md снижает их соблюдение, при этом 40% правил в его файле были избыточными. Решением стало перенос контроля с инструкций на инфраструктуру с использованием хуков жизненного цикла, навыков и файлов кампаний, что привело к созданию открытой системы Citadel.
Homebutler: MCP-сервер для управления мультисерверной домашней лабораторией через Claude
Homebutler — это бинарный файл Go со встроенным сервером MCP, который позволяет Claude управлять несколькими серверами по SSH без установки агентов на удалённых машинах. Он предоставляет 9 инструментов, включая мониторинг состояния системы, управление контейнерами Docker, сканирование портов и правила оповещений.