MTPLX: Tokens 2,24x Mais Rápidos no Apple Silicon Usando Cabeças MTP Nativas
MTPLX é um motor de inferência para Apple Silicon que aproveita as heads nativas de Predição Multi-Token (MTP) do modelo como rascunhadores especulativos. O resultado principal: Qwen 3.6 27B 4-bit MLX passa de 28 tok/s para 63 tok/s (2,24× mais rápido) em um MacBook Pro M5 Max com temperatura 0,6, top_p 0,95, top_k 20 — as configurações exatas que a Qwen recomenda para programação.
Como Funciona
Diferente do DFlash ou DDTree (que exigem um modelo rascunhador externo e são apenas greedy), o MTPLX usa as próprias heads MTP do modelo. Cada head MTP rascunha sequencialmente, produzindo distribuições de probabilidade por token. Isso permite amostragem exata de rejeição com temperatura e correção residual. Sem rascunhador externo significa sem uso extra de memória.
Para o Qwen 3.6 27B (que vem com heads MTP até profundidade 5), a profundidade ótima encontrada foi D3 após varredura de D2 a D5. Profundidades maiores (D4/D5) tiveram boa aceitação inicial, mas posições mais profundas custaram mais tempo de verificação do que tokens economizados.
Status vs. DFlash / DDTree
O DFlash MLX atinge maior velocidade bruta, mas é restrito à amostragem greedy (temperatura 0), limitando severamente o uso no mundo real. O DDTree herda as mesmas limitações. Ambos exigem um rascunhador externo. O MTPLX funciona com qualquer modelo que mantenha suas heads MTP e suporte inferência completa com amostragem por temperatura.
Instalação e Uso
O MTPLX é distribuído como um CLI completo com os seguintes comandos:
mtplx start wizard— configuração guiada- Download e inspeção de modelos com detecção de compatibilidade MTP em quatro níveis
- Profundidade configurável de 2 a 7+
- Servidor de API compatível com OpenAI/Anthropic, interface de chat no navegador, chat no terminal
- Suite de benchmarks, diagnóstico de saúde, controle de ventoinha com segurança contra falhas e restauração automática com detecção de inatividade
- Uma suíte de 562 testes incluída
O motor é construído sobre um fork modificado do MLX com kernels Metal personalizados, gráficos de verificação compilados, rollback GDN com fita de inovação e uma cabeça LM requantizada apenas para rascunho.
Para Quem É
Desenvolvedores que executam LLMs locais em Apple Silicon e precisam de inferência de alta taxa, com amostragem por temperatura para programação ou escrita criativa, sem sacrificar a qualidade da saída.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
Compactador de Garras: motor de compressão de tokens em 14 estágios para pipelines de LLM
Claw Compactor é um motor de compressão de tokens LLM de código aberto que utiliza um Pipeline de Fusão de 14 estágios para alcançar 54% de compressão média com custo zero de inferência LLM. Inclui compressores especializados para código, JSON, logs, diffs e resultados de busca com capacidades de compressão reversível.
Resultados do Teste A/B: Ganchos do oh-my-claudecode Apresentam Impacto Mínimo no Desempenho do Claude Code
Um desenvolvedor gastou 7% de seus tokens semanais Max20 testando hooks do oh-my-claudecode com Claude Sonnet 4.6, sem encontrar melhorias significativas na qualidade do código ou no custo para uma tarefa de programação em sessão única.
Backend Personalizado do llama.cpp Descarrega Multiplicação de Matrizes LLM para NPU AMD XDNA2 no Ryzen AI MAX 385
Um desenvolvedor criou um backend personalizado para llama.cpp que despacha operações GEMM diretamente para o NPU AMD XDNA2 no Ryzen AI MAX 385 (Strix Halo), alcançando 43,7 t/s de decodificação com 0,947 J/tok usando o Meta-Llama-3.1-8B-Instruct Q4_K_M. O caminho de decodificação do NPU economiza cerca de 10W em comparação com apenas Vulkan, mantendo a mesma taxa de decodificação.
Apresentando o Lean Collab: Um Orquestrador Multiagente para Tarefas de LLM de Longa Duração
Lean Collab é um orquestrador de código aberto projetado para gerenciar tarefas de longa duração de LLM usando subagentes coordenados e paralelos.