Referência: MLX vs Ollama Executando Qwen3-Coder-Next 8-Bit no MacBook Pro M5 Max

Um benchmark foi conduzido comparando dois backends de inferência local—MLX (framework nativo de ML da Apple) e Ollama (baseado em llama.cpp)—executando o mesmo modelo Qwen3-Coder-Next em quantização de 8 bits no Apple Silicon. O objetivo foi medir a taxa de transferência bruta (tokens por segundo), o tempo até o primeiro token (TTFT) e a capacidade geral de programação em tarefas reais de programação.
Metodologia
A configuração utilizada:
- Backend MLX: mlx-lm v0.29.1 servindo mlx-community/Qwen3-Coder-Next-8bit através do seu servidor HTTP compatível com OpenAI na porta 8080.
- Backend Ollama: Ollama servindo qwen3-coder-next:Q8_0 através da sua API compatível com OpenAI na porta 11434.
Ambos os backends foram acessados através do mesmo conjunto de testes em Python usando a biblioteca cliente OpenAI com streaming habilitado. Cada teste foi executado em 3 iterações por prompt, com os resultados médios e excluindo o TTFT da primeira iteração para o prompt inicial de inicialização a frio (carregamento do modelo).
Conjunto de Testes
Seis prompts abrangeram um espectro de tarefas de programação:
- Conclusão Curta: Escreva uma função de verificação de palíndromo (150 tokens máximos)
- Geração Média: Implemente uma classe de cache LRU com dicas de tipo (500 tokens máximos)
- Raciocínio Longo: Explique async/await vs threading com exemplos (1000 tokens máximos)
- Tarefa de Depuração: Encontre e corrija bugs em merge sort + busca binária (800 tokens máximos)
- Programação Complexa: Fila de bloqueio limitada segura para threads com gerenciador de contexto (1000 tokens máximos)
- Revisão de Código: Revise 3 funções para desempenho/correção/estilo (1000 tokens máximos)
Resultados
Taxa de Transferência (Tokens por Segundo) no M5 Max com 128 GB de RAM:
- Conclusão Curta: Ollama 32,51 tok/s, MLX 69,62 tok/s (MLX +114%)
- Geração Média: Ollama 35,97 tok/s, MLX 78,28 tok/s (MLX +118%)
- Raciocínio Longo: Ollama 40,45 tok/s, MLX 78,29 tok/s (MLX +94%)
- Tarefa de Depuração: Ollama 37,06 tok/s, MLX 74,89 tok/s (MLX +102%)
- Programação Complexa: Ollama 35,84 tok/s, MLX 76,99 tok/s (MLX +115%)
- Revisão de Código: Ollama 39,00 tok/s, MLX 74,98 tok/s (MLX +92%)
Média geral: o MLX atingiu aproximadamente 72 tokens por segundo, cerca do dobro da taxa de transferência do Ollama. As métricas medidas incluíram tokens/seg (tokens de saída gerados por segundo, quanto maior melhor), TTFT (tempo desde o envio da solicitação até o recebimento do primeiro token, quanto menor melhor), tempo total (tempo de relógio para resposta completa, quanto menor melhor) e uso de memória medido via psutil.
📖 Read the full source: r/LocalLLaMA
👀 See Also

Claude DevTools: Um Leitor de Logs para Maior Visibilidade do Código no Claude
Claude DevTools é uma ferramenta local e de código aberto que lê os arquivos de log existentes do Claude Code em ~/.claude/ para fornecer visibilidade detalhada das sessões, incluindo operações de arquivo com diffs inline, detalhamento de tokens, visualização da janela de contexto e árvores completas de execução de subagentes.

Ferramenta CLI AI-Setup Gera Automaticamente Arquivos de Configuração de IA para Stacks LLM Locais
AI-Setup é uma ferramenta CLI que analisa bases de código e gera automaticamente arquivos de configuração de IA, como .cursorrules e claude.md. Ele detecta sua stack para eliminar a escrita manual de regras para cada novo projeto.

Qwen2-0.5B Ajustado para Automação de Tarefas Locais com llama.cpp
Um desenvolvedor ajustou o Qwen2-0.5B para automação de tarefas usando LoRA em aproximadamente 1000 exemplos personalizados, criando um modelo GGUF de 300MB que roda localmente na CPU via llama.cpp. O modelo recebe tarefas em linguagem natural, detecta os tipos de tarefa e gera planos de execução com comandos CLI e atalhos de teclado.

Optio: Orquestrando Agentes de Codificação de IA no Kubernetes do Chamado ao PR
Optio é um sistema de orquestração de código aberto que transforma tickets em pull requests mesclados usando agentes de codificação com IA como Claude Code ou Codex. Ele gerencia todo o ciclo de vida em pods Kubernetes isolados com um loop de feedback que reinicia automaticamente os agentes em falhas de CI ou feedback de revisão.