10 agentes de IA testados no Qwen3.5-4B: Pi conclui 5 tarefas em 1m36s, OpenCode leva 17m43s

Um desenvolvedor testou 10 agentes de IA para programação no Qwen3.5-4B, cada um rodando em modo headless com confirmação automática e telemetria desativada quando possível. Cada agente teve sua própria pasta de configurações isolada, uma cópia nova do fixture e 10 minutos por tarefa. A suíte completa foi executada via adapters/<agent>.sh com verificações automatizadas do check/check.sh.

As 5 tarefas

• T1 — Ler uma porta de banco de dados de um YAML (sem confundir com a porta de cache) e gravá-la em um arquivo.
• T2 — Escrever um script stats.py, executá-lo e salvar a saída.
• T3 — Corrigir um bug no slugify para que os testes passem; exemplos ocultos pegam overfitting.
• T4 — Contar linhas de ERROR em três arquivos de log e encontrar o erro mais frequente.
• T5 — Renomear uma função em três arquivos sem alterar a saída do programa.

Resultados (tempo total, tarefas aprovadas)

• Pi v1.3.0 — 1m36s, 5/5. T1 10s, T2 14s, T3 24s, T4 19s, T5 29s. Quase não precisa raciocinar sobre formatos de ferramentas.
• goose v1.55.0 — 2m51s, 5/5. Consistente, sem vacilos.
• Crush v0.98.1 — 3m31s, 5/5. Raciocínio um pouco mais verboso.
• Atomic Agent v0.6.9 — 4m38s, 5/5. Mais lento em T3 (77s) e T5 (104s) por causa de edições em múltiplos arquivos, mas sem chamadas de ferramentas quebradas ou falsas conclusões.
• Cline v3.0.73 — 5m56s, 5/5. Travou por mais de dois minutos em T2 antes de escrever corretamente.
• OpenClaw v2026.10.5 — 5m44s, 5/5. Rodou no modo --local-model-lean; mais lento em T3 (107s) e T4 (116s).
• OpenCode v1.19.3 — 17m43s. Completou tudo, mas levou em média quase 4 minutos por tarefa; o modelo pensou demais em passos simples.

Sete agentes têm tempos e contagens de aprovação registrados. O post original lista 10, mas apenas as sete primeiras entradas incluem tabelas de benchmark no trecho. Os tempos brutos por tarefa e os scripts completos de adapter/check estão na thread original.

Lição para quem roda modelos locais pequenos: a normalização dos formatos de chamada de ferramentas importa mais do que o tamanho bruto do modelo aqui. Agentes que entregam ao modelo um esquema de ferramentas simples e rígido (Pi, goose) terminaram as mesmas 5/5 em minutos, enquanto loops mais generalistas gastaram tempo com formatação e excesso de raciocínio.