Запуск Claude Code оффлайн на M3 Pro с Qwen3.6: 4 исправления, которые заставили это работать

Claude Code подключается к локальной модели на Apple M3 Pro (18 ядер GPU, 36 ГБ единой памяти, пропускная способность ~150 ГБ/с) с запущенной qwen3.6:35b-a3b-coding-nvfp4 — моделью MoE на 35,1 млрд параметров с ~3 млрд активных на токен, квантованной NVFP4, занимающей ~21 ГБ на диске и ~20 ГБ в оперативной памяти. Такая конфигурация позволила провести инцидент Kubernetes от расследования до PR: найдена первопричина, написан патч, отправлена ветка, создан PR через gh — всё в изолированной среде. Четыре исправления превратили модель, которая зависала через 10 минут, в инструмент, замыкающий цикл. Скорость ограничена железом; возможности — нет.

Стек и окружение

• Железо: Apple M3 Pro, 18 ядер GPU, 36 ГБ единой памяти, ~150 ГБ/с пропускная способность
• Модель: qwen3.6:35b-a3b-coding-nvfp4
• Среда выполнения: Ollama 0.24.0, раннер MLX (родной для Apple Silicon)
• Клиент: Claude Code v2.1.84, указывающий на локальный эндпоинт Ollama

Ключевые переменные окружения (установлены в launchd plist для сохранения):

OLLAMA_MLX=1
OLLAMA_CONTEXT_LENGTH=32768
OLLAMA_FLASH_ATTENTION=1
OLLAMA_MULTIUSER_CACHE=1
OLLAMA_KEEP_ALIVE=24h
OLLAMA_NO_CLOUD=1

Шаги по настройке

1. Установите Ollama 0.24.0+
2. ollama pull qwen3.6:35b-a3b-coding-nvfp4 (~21 ГБ однократно)
3. Запустите сервер с указанными переменными окружения
4. Запустите Claude Code:
   ANTHROPIC_BASE_URL=http://localhost:11434 MAX_THINKING_TOKENS=0 claude --model qwen3.6:35b-a3b-coding-nvfp4
5. Проверка дымом: Выполни kubectl get pods -A и скажи, есть ли что-то нездоровое

Замечания по производительности

Первый вызов инструмента: секунды (размышления отключены). Prefill (загрузка ~25K токенов) занимает ~60 с. Последующие шаги быстрее благодаря кэшированию префиксов (OLLAMA_MULTIUSER_CACHE). Модель остаётся загруженной через OLLAMA_KEEP_ALIVE=24h. Всплеск 404 в логе Ollama во время prefill — нормально (исправление #4).

Архитектура MoE — ключевая: только ~3 млрд активных на токен, поэтому стоимость выполнения похожа на плотную модель 14 млрд, а ответы близки к 35 млрд. Плотная 35-миллиардная модель не помещается в 36 ГБ.