QWEN3.6-27B-MLX-8bit соответствует 122B для локальных рабочих процессов при 29,5 ГБ

Пользователь Reddit, запускающий локальные модели для агентной оркестрации, исследований и написания текстов, обнаружил, что QWEN3.6-27B-MLX-8bit — загрузка объёмом 29,5 ГБ — справляется с теми же задачами так же хорошо, как его прежняя основная модель, только медленнее.

Прежним выбором был QWEN3.5-122B-a10-uncensored-hauhaucs-aggressive — модель на 79 ГБ, которую пользователь описывал как надёжную для восьмичасовых рабочих процессов. Проблема была не в качестве, а в памяти.

Почему модель на 79 ГБ стала проблемой

На M3 Ultra Mac Studio с 256 ГБ ОЗУ модель на 79 ГБ поднимала потребление памяти примерно до 93%, как только в рабочий процесс включалась генерация видео. Пользователь сообщал, что периодически был вынужден закрывать приложения, чтобы избежать сбоев. Он также отметил, что планируется дополнительный Mac Studio, но он будет выделен исключительно под работу с видео — так что до тех пор освобождение ОЗУ имеет значение.

Прежде чем остановиться на 27B, пользователь несколько дней тестировал другие модели QWEN и Nemotron и не нашёл ни одной, сравнимой с 122B для своих задач.

Компромисс

Результат QWEN3.6-27B-MLX-8bit — это прямой компромисс, согласно собственному тестированию пользователя:

• Плюсы: освобождает 50 ГБ ОЗУ (29,5 ГБ против 79 ГБ), что снимает давление на память, вынуждавшее закрывать приложения.
• Минусы: медленнее, чем 122B, на тех же задачах.
• Качество: пользователь оценил его как «столь же хорошее во всех этих задачах» — не ухудшение результата, а лишь потеря в скорости.

Объём задач

Это не обобщённое утверждение из бенчмарка. Рабочие процессы пользователя охватывают локальную оркестрацию, исследования, написание текстов и этап генерации видео — более тяжёлые и длительные конвейеры, в которых обычно и проявляются проблемы с памятью на потребительских Apple Silicon.

Для тех, кто запускает оркестрацию в течение долгих сессий на одной машине, практический вывод из поста прост: 8-битная MLX-модель объёмом 29,5 ГБ в масштабе 27B может не уступать гораздо более крупному кванту, позволяя направить освободившуюся ОЗУ на другие участки конвейера.

Полный пост — на r/openclaw; пользователь говорит, что ранее публиковал связанную тему с тестированием, если вам нужны подробности сравнения.