Qwen 3.6 27B avaliado no DeepSWE: 2% de pontuação, 70 horas, 44k tokens médios de saída

Um usuário do Reddit testou o Qwen 3.6 27B no benchmark DeepSWE, obtendo 2% (1,79% arredondado) — 18º lugar entre 20, acima do Haiku 4.5 e Minimax M2.7. A execução completa levou 70 horas, com tempo médio por tarefa de 32 minutos e média de tokens de saída por tarefa de 44k — surpreendentemente equivalente ao Qwen 3.6 Plus maior, apesar da reputação do modelo 27B por ser prolixo.

Metodologia

• Modelo: Qwen 3.6 27B FP8 com cache KV BF16, raciocínio ativado, janela de contexto de 262k, servido via VLLM
• Hardware: 1x RTX6000 Pro Blackwell no RunPod
• Harness do agente: mini-swe em sandboxes Modal
• 1 execução por tarefa (em vez das 4 oficiais) para economizar tempo; sem intervalo de pontuação
• Custos calculados com base na taxa horária do RunPod para tarefas concluídas
• Orquestração: Codex 5.5xhigh monitorou e gerenciou toda a execução

Observações Principais

O autor observa que a pontuação está suspeitamente próxima do Qwen 3.6 Plus, levantando questões sobre diferenças arquitetônicas. Ele argumenta que os modelos locais estão ficando cada vez mais para trás em relação às ofertas fechadas de ponta: K2.6 é o melhor modelo open-source, mas a maioria nem consegue executá-lo localmente. O Qwen 3.6 27B é posicionado como uma opção local de "SOTA para pobres". A tendência sugere que o desempenho de ponta requer grande escala, o que frequentemente leva ao fechamento do código, tornando a inferência local um jogo perdido em termos de competitividade.