O fork vllm-mlx adiciona chamada de ferramentas e cache de prompt para agentes de IA de codificação local.

Um desenvolvedor publicou uma versão modificada do vllm-mlx que corrige vários problemas para executar agentes de IA de codificação como o OpenClaw localmente no Mac. O fork adiciona chamada de ferramentas funcional e cache de prompt ao servidor compatível com OpenAI para Apple Silicon.
Principais correções e recursos
O desenvolvedor fez 37 commits em cima do vllm-mlx upstream para resolver problemas específicos:
- Chamada de ferramentas: Adicionada a flag
--tool-call-parser hermes— chamadas de ferramentas do Qwen3-Coder-Next funcionam prontas para uso - MiniMax-M2.5: Adicionado parsing de chamadas de ferramentas com e sem streaming com 4/4 de precisão em benchmarks de chamada de funções (clima, busca, execução de código, múltiplas ferramentas)
- Cache de prompt: Adicionado cache KV persistente entre requisições no SimpleEngine — apenas o mesmo prompt do sistema e histórico da conversação pré-preenchem novos tokens
- Separação de raciocínio: Construído parser heurístico para saídas do MiniMax que tinham raciocínio inline sem tags — reduziu a taxa de vazamento de 60% para 0%
Melhorias de desempenho
Com contexto de 33K tokens, o tempo para o primeiro token (TTFT) melhorou de 28 segundos para 0,3 segundos no acerto do cache. Benchmarks no Mac Studio M3 Ultra 256GB:
- Qwen3-Coder-Next 4bit: 42GB RAM, 70 tok/s decodificação, 1270 tok/s pré-preenchimento
- Qwen3-Coder-Next 6bit: 60GB RAM, 65 tok/s decodificação, 1090-1440 tok/s pré-preenchimento
- Qwen3-Coder-Next 8bit: 75GB RAM, ~45 tok/s decodificação, ~900 tok/s pré-preenchimento
- MiniMax-M2.5 4bit: 120GB RAM, 33-38 tok/s decodificação, 430-500 tok/s pré-preenchimento
O desenvolvedor recomenda o Qwen3-Coder-Next 6bit como o ponto ideal para codificação interativa, observando que a qualidade é visivelmente melhor que o 4bit (que tinha saída ocasionalmente truncada).
Instruções de configuração
pip install git+https://github.com/raullenchai/vllm-mlx.git
python -c "from mlx_lm import load; load('lmstudio-community/Qwen3-Coder-Next-MLX-6bit')"
python -m vllm_mlx.server \
--model lmstudio-community/Qwen3-Coder-Next-MLX-6bit \
--tool-call-parser hermes \
--prefill-step-size 8192 \
--kv-bits 8 \
--port 8000
Em seguida, direcione o OpenClaw ou qualquer cliente SDK da OpenAI para http://localhost:8000/v1.
Requisitos de hardware
- Qwen3-Coder-Next 4bit: 42GB — cabe no M2 Pro 64GB ou superior
- Qwen3-Coder-Next 6bit: 60GB — requer M2/M3/M4 Max 96GB+ ou Ultra
- MiniMax-M2.5: 120GB — apenas Ultra 192GB+
O que não funcionou
- Decodificação especulativa com Qwen3-0.6B como modelo rascunho — mlx-lm tem um bug conhecido com Qwen3 (pula tokens, issue #846)
- DeepSeek-R1-Distill-70B para OpenClaw — excelente em raciocínio, mas a chamada de ferramentas não é confiável
O repositório tem mais de 1500 testes e está licenciado sob Apache 2.0.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also

SourceBridge: Ferramenta de código aberto para análise de base de código usando LLMs locais
SourceBridge é uma ferramenta de código aberto que indexa repositórios Git em grafos de símbolos e usa LLMs locais para gerar resumos de bases de código, passeios arquiteturais e materiais de aprendizado. Ele suporta vários backends locais, incluindo Ollama, llama.cpp, vLLM, LM Studio e SGLang via APIs compatíveis com OpenAI.

ConecteSafely AI MCP Server Vincula o LinkedIn ao Claude para Controle Direto
O ConnectSafely AI fornece um servidor MCP que conecta o LinkedIn diretamente ao Claude, permitindo que os usuários enviem mensagens, busquem pessoas, verifiquem visitantes do perfil e acompanhem conversas por meio de prompts sem precisar alternar entre abas.

/compress-architecture: Uma Habilidade de Agente para Podar o Superdimensionamento
Uma nova habilidade de agente chamada /compress-architecture audita bases de código em busca de camadas especulativas, módulos de passagem e conceitos duplicados, protegendo ao mesmo tempo os limites reais de domínio e APIs públicas.

Executando OpenClaw e Codex CLI Nativamente no Android via APK AnyClaw
Um desenvolvedor empacotou o OpenClaw e o Codex CLI em um APK Android chamado AnyClaw, permitindo que o gateway e a Interface de Controle sejam executados localmente em dispositivos Android ARM64 7.0+ sem necessidade de root. O projeto exigiu a construção de dependências a partir do código-fonte e a correção de múltiplos componentes para lidar com restrições específicas do Android.