Executando o Claude Code Offline em um M3 Pro com Qwen3.6: 4 Correções Que Fizeram Funcionar

O Claude Code se conecta a um modelo local em um Apple M3 Pro (18 núcleos GPU, 36 GiB de memória unificada, ~150 GB/s de largura de banda) executando qwen3.6:35b-a3b-coding-nvfp4 — um modelo MoE de 35,1B parâmetros com ~3B ativos por token, quantizado NVFP4, ~21GB em disco e ~20GiB residentes. A configuração levou um incidente Kubernetes da investigação ao PR: encontrou a causa raiz, escreveu o patch, enviou o branch e registrou o PR via gh — tudo em ambiente air-gapped. Quatro correções transformaram um modelo que timeoutava em 10 minutos em um que fecha o ciclo. A velocidade é limitada pelo hardware; a capacidade não.

Stack e Ambiente

• Hardware: Apple M3 Pro, 18 núcleos GPU, 36 GiB de memória unificada, ~150 GB/s de largura de banda
• Modelo: qwen3.6:35b-a3b-coding-nvfp4
• Runtime: Ollama 0.24.0, MLX runner (nativo Apple Silicon)
• Cliente: Claude Code v2.1.84 apontando para endpoint local do Ollama

Variáveis de ambiente principais (definidas em um plist do launchd para persistência):

OLLAMA_MLX=1
OLLAMA_CONTEXT_LENGTH=32768
OLLAMA_FLASH_ATTENTION=1
OLLAMA_MULTIUSER_CACHE=1
OLLAMA_KEEP_ALIVE=24h
OLLAMA_NO_CLOUD=1

Passos de Configuração

1. Instale o Ollama 0.24.0+
2. ollama pull qwen3.6:35b-a3b-coding-nvfp4 (~21GB uma vez)
3. Inicie o servidor com as variáveis de ambiente acima
4. Inicie o Claude Code:
   ANTHROPIC_BASE_URL=http://localhost:11434 MAX_THINKING_TOKENS=0 claude --model qwen3.6:35b-a3b-coding-nvfp4
5. Teste rápido: Execute kubectl get pods -A e me diga se algo parece não saudável

Notas de Desempenho

Primeira chamada de ferramenta: segundos (thinking desabilitado). Preenchimento (carregando ~25K tokens) leva ~60s. As iterações seguintes são mais rápidas devido ao prefix caching (OLLAMA_MULTIUSER_CACHE). O modelo permanece carregado via OLLAMA_KEEP_ALIVE=24h. Rajada de 404s no log do Ollama durante o preenchimento é normal (correção #4).

A arquitetura MoE é fundamental: apenas ~3B ativos por token, então o custo de execução se assemelha a um modelo denso de 14B, enquanto as respostas se aproximam de um de 35B. Um modelo denso de 35B não cabe em 36GiB.