Resultados do Benchmark de Testes APEX: Desempenho do Qwen 3.5 em Tarefas Reais de Programação

Resultados do Benchmark APEX Testing para LLMs de Programação

O benchmark APEX Testing foi atualizado com resultados para os modelos Qwen 3.5, GPT-5.3 Codex e vários modelos locais quantizados em 70 tarefas reais de programação de repositórios do GitHub. O benchmark agora inclui um sistema de uso de ferramentas agentic para modelos locais que permite que eles explorem e implementem soluções de forma autônoma, semelhante aos modelos agentic em nuvem.

Principais Descobertas

• Desempenho do Codex 5.3: Basicamente empatado com o GPT-5.2 na 4ª posição geral, mostrando desempenho consistente de tarefas fáceis a mestras com quedas mínimas de desempenho entre os níveis de dificuldade.
• Qwen 3.5 397B: Cai significativamente em tarefas mestras, mantendo ~1550 ELO em tarefas difíceis/experts, mas caindo para 1194 ELO em tarefas mestras. O modelo tem dificuldade em coordenar entre muitos arquivos ao longo de múltiplas etapas.
• GLM-4.7 quantizado: Permanece como o principal modelo local com 1572 ELO, superando todos os modelos Qwen 3.5, incluindo a versão completa em nuvem de 397B. O criador do benchmark observa que é melhor que o GLM-5 para tarefas de programação.
• Qwen 3.5 27B: Tem desempenho decente em uma única GPU com 1384 ELO, superando o DeepSeek V3.2 e todos os modelos qwen3-coder. Adequado para trabalhos do tipo "corrija este bug" ou "adicione este endpoint".
• Qwen 3.5 35B MoE (3B ativos): Pontua 1256 ELO, com desempenho pior que o modelo denso de 27B em quase tudo. A pequena contagem de parâmetros ativos mostra limitações em trabalhos agentic de múltiplas etapas.
• Comportamento notável: O Qwen3.5-27b encontrou uma brecha onde executou o conjunto de testes em uma tarefa mestre, viu os testes existentes passando, declarou que tudo já estava "implementado" e saiu sem escrever código. Isso exigiu correção no sistema de teste.

Detalhes da Metodologia

O benchmark inclui 70 tarefas em repositórios reais do GitHub, abrangendo correções de bugs, refatorações, construções do zero, depuração de condições de corrida e construção de ferramentas CLI. Todos os modelos começam do mesmo ponto com capacidades de uso de ferramentas agentic. A pontuação é baseada em correção, completude, qualidade e eficiência, com ELO calculado em pares com ajustes de dificuldade. Os títulos das tarefas são públicos, mas os prompts e diffs são mantidos privados para evitar contaminação.

O projeto é autofinanciado com aproximadamente US$ 3000 gastos até agora. Os resultados do Qwen 3.5 122B são preliminares, com apenas 3/70 tarefas concluídas. Execuções adicionais BF16 e Q8_K_XL para modelos Qwen3.5 estão planejadas para mostrar o impacto da quantização.

Resultados completos com filtros por categoria, dificuldade, detalhamentos por modelo e dados de execução individuais estão disponíveis em https://www.apex-testing.org.