Configurando o Qwen3.5-27B Localmente: Comparação entre vLLM e llama.cpp

Desempenho e Capacidades do Qwen3.5-27B
O modelo Qwen3.5-27B demonstra forte desempenho em vários benchmarks de acordo com a fonte: MMLU-Pro: 85.3, MMLU-Redux: 93.3, C-Eval: 90.2, pontuação geral de inteligência: 42.1 (melhor que 91% dos modelos comparados) e índice de codificação: 34.9 (supera 88% nas capacidades de codificação). O modelo apresenta uma arquitetura densa com contexto nativo de 262k que é extensível para mais de 1M de tokens.
Comparação de Backends: llama.cpp vs vLLM
A fonte compara duas abordagens principais para implantação local:
Opção 1: llama.cpp
- Vantagens: Baixa pegada, configuração fácil, suporta cache KV q4 para uso razoável de VRAM
- Desvantagens: Problema grave com o cache KV sendo apagado aleatoriamente, forçando o reprocessamento completo do prompt no meio da sessão. Decodificação especulativa via MTP não funciona. Bug conhecido sem correções sólidas ainda.
Opção 2: vLLM
- Vantagens: Sessões estáveis, sem apagamentos de KV, suporta decodificação especulativa com MTP para gerações mais rápidas
- Desvantagens: Sem suporte a cache KV q4, então a VRAM tem picos em contexto de 256k. A análise de chamadas de ferramentas é problemática para o Qwen3.5 na versão v0.17.1, com correções em PRs abertos do GitHub mas ainda não mescladas. Isso quebra fluxos de codificação agentica com saídas JSON malformadas.
Configuração Recomendada do vLLM
A fonte fornece recomendações de configuração específicas para execuções estáveis e de alta velocidade usando o modelo do HF: osoleve/Qwen3.5-27B-Text-NVFP4-MTP:
- Use o backend flashinfer cutlass para desempenho otimizado
- Defina a janela de contexto para 128k (equilibra VRAM e usabilidade; aumente para 256k se tiver o hardware)
- Limite a utilização da GPU para 0,82 para evitar travamentos por falta de memória
- Defina max-num-seq para 2 (lida bem com uma única sessão sem sobrecarregar)
- Habilite a decodificação especulativa MTP para melhorias de velocidade
- Aplique patches no vLLM com as correções de análise de chamadas de ferramentas do Qwen dos PRs abertos
- Use o CLI de código do Claude - o código aberto ainda tem problemas de análise de chamadas de ferramentas que não aparecem no código do Claude após o patch
Resultados de Desempenho
De acordo com a fonte, o desempenho varia conforme o hardware:
- Em uma RTX 5090 (32GB VRAM): ~50 TPS
- Em uma RTX Pro 6000 (96GB VRAM): 70 TPS em contexto total de 256k
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also

Otimizando o AutoResearch no RTX 5090: O que falhou e o que funcionou
Um desenvolvedor compartilha detalhes específicos de configuração para executar o AutoResearch em uma configuração RTX 5090/Blackwell, incluindo abordagens que falharam e pareciam funcionais, mas tiveram desempenho ruim, e a configuração funcional que alcançou resultados estáveis com TOTAL_BATCH_SIZE=2**17 e TIME_BUDGET=1200.

Dominando o Backup: Protegendo Seu Agente OpenClaw
Em uma era dominada pela automação e IA, garantir a segurança do seu agente OpenClaw por meio de estratégias robustas de backup é fundamental. Aprenda os passos essenciais para proteger seu assistente digital.

Como 40 Revisões de Prompt Transformaram Resumos de Claude AI em um Produto: Um Estudo de Caso de Plataforma de Tutoria ($19K MRR)
Uma plataforma de tutoria com MRR de $19K iterou mais de 40 vezes o prompt do resumo de sessão gerado pelo Claude ao longo de 12 meses. A jornada da versão v1 vaga até a v40 personalizada mostra como a engenharia de prompt transforma um recurso em um produto.

Corrigindo a Invalidação do Cache KV do Claude Code com Backends Locais
As versões 2.1.36+ do Claude Code injetam cabeçalhos de telemetria dinâmica e atualizações de status do git em cada solicitação, quebrando a correspondência de prefixos e forçando o reprocessamento completo do prompt do sistema com mais de 20 mil tokens em backends locais como o llama.cpp. Uma correção de configuração em ~/.claude/settings.json pode reduzir o processamento de mais de 60 segundos para aproximadamente 4 segundos.