Qwen3.5-397B MoE работает на 14 ГБ ОЗУ с помощью постраничной загрузки экспертов на M1 Ultra

Пост на Reddit от пользователя u/ur_dad_matt (через Claude) демонстрирует пользовательский движок Paged MoE, который запускает Qwen3.5-397B-A17B (209GB на диске, 512 экспертов, top-10 маршрутизация) на M1 Ultra Mac Studio с 64GB памяти, используя всего 14GB пиковой RAM и достигая скорости вывода 1,59 ток/с. Модель слишком велика для наивной загрузки; движок держит в оперативной памяти только K=20 экспертов, лениво подгружая остальные с SSD по запросу маршрутизатора и вытесняя при нехватке кэша. Вычисления используют Float16 (быстрее, чем ternary на MPS), родной Apple Silicon, на базе MLX.
Результаты бенчмарков из прогона 5 промптов на M1 Ultra 64GB:
- Скорость: 1,59 ток/с (среднее по 5 связным генерациям, K=20)
- Пиковый RSS кэша (генерация): 7,91 GB
- Общий пиковый RSS: 14,04 GB
- Связные выходы: 5/5
Оптимальная конфигурация движка: K_override=20, cache_gb=8.0, OUTLIER_MMAP_EXPERTS=0, lazy_load=True. Первые попытки со всеми экспертами на диске приводили к сбоям выделения буфера команд, пока не был настроен размер кэша.
Автор утверждает, что бенчмарки с «сырыми» оценками не учитывают суть для локальных LLM на оборудовании с 64GB; ключевая метрика — MMLU на GB RAM. При скорости 1,59 ток/с модель работает в «темпе размышления», а не в темпе чата, демонстрируя верхнюю границу соотношения модели к памяти.
Скорости для меньших квантованных моделей на том же оборудовании (MLX-4 бит):
- 4B Nano: 71,7 ток/с
- 9B Lite: 53,4 ток/с
- 26B-A4B Quick: 14,6 ток/с
- 27B Core: 40,7 ток/с (MMLU 0,851 n=14042 σ=0,003, HumanEval 0,866 n=164 σ=0,027)
- 35B-A3B Vision: 64,1 ток/с
- 397B Plus: 1,59 ток/с
Среда выполнения построена на Tauri + Rust + MLX для macOS. Бесплатные уровни (Nano и Lite) доступны навсегда на outlier.host. Видеодемонстрация включена в пост на Reddit.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Руководство по настройке защитных слоев для программирования с помощью Claude Code
Пошаговое руководство показывает, как реализовать многоуровневую защиту для программирования с Claude Code, охватывая pre-commit хуки, файлы CLAUDE.md, локальные агенты проверки, GitHub Actions CI и защиту веток.

Руководство по автоматизации поиска работы с OpenClaw — Настройки, Cron-задачи и фильтрация
Практическое руководство по автоматизации поиска работы с помощью OpenClaw: определите четкие предпочтения, выберите инструмент для получения вакансий (автоматизация браузера, парсинг или структурированный API), проверьте рабочий процесс и настройте cron-задачу.

Установка OpenClaw на MacBook Pro с использованием локального Homebrew и NVM
Пользователь успешно установил OpenClaw на MacBook Pro, используя локальную учётную запись без прав администратора с локальным Homebrew, NVM v0.40.4, Python 3.14.3 через pyenv, Node 24 и LLM Qwen3.5-122B-A10B-MLX-vision-4.7-bit через oMLX.

Клод для моушн-графики: паттерны запросов, создающие анимированные HTML-визуалы для записи в видео
Пользователь r/ClaudeAI делится надежной структурой промптов для создания анимированной графики и интерактивных диаграмм в виде HTML-виджетов с помощью Claude, а затем захвата их в MP4 с помощью Playwright + ffmpeg.