Teste cego: 5 agentes de IA locais, o mesmo modelo Qwen 27B — um falhou em um comando de instalação

Alguém no r/openclaw submeteu cinco agentes de programação locais a uma suíte idêntica de cinco tarefas no mesmo hardware e modelo, depois escondeu os nomes e pediu aos leitores que adivinhassem qual é o OpenClaw. Os concorrentes: Atomic Agent, goose, Hermes, OpenClaw e OpenCode.

A configuração

• Modelo: Qwen 3.8 27B sem censura, quantização Q4_K_M
• Runtime: llama.cpp
• Hardware: MacBook Pro M5 Max, 64 GB de RAM
• Um agente por vez, aprovação automática ativada
• Um script decide aprovação/reprovação — sem avaliação humana

As tarefas eram trabalho comum de desenvolvimento: mesclar duas listas de contatos, renomear uma função em três arquivos, corrigir um bug com testes ocultos, contar erros em três arquivos de log e converter um recibo em PDF para uma planilha.

Resultados (nomes ocultos)

Agente   1. Contatos   2. Renomear   3. Correção de bug   4. Erros   5. Recibo   Total
A       ✅ 4:54       ✅ 0:28     ✅ 0:43      ✅ 0:26     ✅ 3:58      10:29
B       ✅ 6:03       ✅ 1:11     ✅ 0:55      ✅ 0:54     ✅ 15:04     24:07
C       ✅ 13:32      ✅ 0:24     ❌ 0:22      ✅ 0:57     ❌ 0:49     16:04
D       ✅ 6:16       ✅ 1:12     ✅ 0:56      ✅ 0:56     ✅ 2:50      12:10
E       ✅ 5:50       ✅ 1:01     ✅ 0:21      ✅ 0:26     ✅ 3:56      11:34

Quatro dos cinco agentes passaram em todas as cinco tarefas. O Agente C falhou em duas.

Onde os agentes divergiram

Na tarefa de converter recibo para planilha, os agentes A e B encontraram uma biblioteca Python ausente e a instalaram sem perguntar. O Agente C parou e pediu permissão para instalar — ninguém respondeu, então ele falhou. O Agente D terminou o trabalho e só então perguntou qual nome dar à saída.

O padrão de falha importa mais do que os tempos: ferramentas de programação agênticas que bloqueiam à espera de entrada humana dentro de um loop não assistido são efetivamente não funcionais nesse tipo de execução. C pagou por ser educado.

Na correção do bug, C transformou "Q3/Q4" em "q3q4" em vez de "q3-q4" — uma transformação plausível na aparência, mas errada, que os testes ocultos detectaram.

As outras tarefas foram uniformes: todos os cinco mesclaram corretamente as listas de contatos para 46 pessoas, todos os cinco passaram na renomeação em três arquivos e todos os cinco contaram 43 erros nos arquivos de log.

A variação de velocidade foi ampla. E terminou em 11:34; B levou 24:07, quase inteiramente devido a 15:04 na tarefa do recibo. Esse é o tipo de variação que vem da amostragem e das tentativas repetidas de chamadas de ferramentas, e não da qualidade do modelo.

O autor diz que o gabarito será publicado em um ou dois dias, então o mapeamento das letras para os produtos ainda está em aberto.