10 agentes de IA probados con Qwen3.5-4B: Pi completa 5 tareas en 1m36s, OpenCode tarda 17m43s

Un desarrollador evaluó 10 agentes de IA para programar sobre Qwen3.5-4B, cada uno ejecutándose en modo headless con confirmación automática y telemetría desactivada cuando fue posible. Cada agente tuvo su propia carpeta de configuración aislada, una copia limpia del fixture y 10 minutos por tarea. La suite completa se ejecutó mediante adapters/<agent>.sh con comprobaciones automatizadas de check/check.sh.

Las 5 tareas

• T1: leer un puerto de base de datos desde YAML (sin confundirlo con el puerto de caché) y escribirlo en un archivo.
• T2: escribir un script stats.py, ejecutarlo y guardar la salida.
• T3: corregir un error en slugify para que pasen las pruebas; ejemplos ocultos detectan sobreajuste.
• T4: contar las líneas ERROR en tres archivos de registro y encontrar el error más frecuente.
• T5: renombrar una función en tres archivos sin cambiar la salida del programa.

Resultados (tiempo total, tareas superadas)

• Pi v1.3.0: 1m36s, 5/5. T1 10s, T2 14s, T3 24s, T4 19s, T5 29s. Apenas necesita razonar sobre los formatos de las herramientas.
• goose v1.55.0: 2m51s, 5/5. Constante, sin titubeos.
• Crush v0.98.1: 3m31s, 5/5. Razonamiento ligeramente más verboso.
• Atomic Agent v0.6.9: 4m38s, 5/5. Más lento en T3 (77s) y T5 (104s) debido a ediciones en varios archivos, pero sin llamadas a herramientas rotas ni finalizaciones falsas.
• Cline v3.0.73: 5m56s, 5/5. Se atascó más de dos minutos en T2 antes de escribir correctamente.
• OpenClaw v2026.10.5: 5m44s, 5/5. Se ejecutó en modo --local-model-lean; más lento en T3 (107s) y T4 (116s).
• OpenCode v1.19.3: 17m43s. Completó todo pero promedió casi 4 minutos por tarea; el modelo pensó demasiado en pasos simples.

Siete agentes están contabilizados con tiempos y número de tareas superadas. La publicación original menciona 10, pero solo las siete primeras entradas incluyen tablas de benchmark en el extracto. Los tiempos por tarea sin procesar y los scripts completos de adaptador y comprobación están en el hilo original.

Conclusión para quien ejecute modelos locales pequeños: aquí la normalización de los formatos de llamada a herramientas importa más que el tamaño bruto del modelo. Los agentes que ofrecen al modelo un esquema de herramientas simple y rígido (Pi, goose) completaron las mismas 5/5 en minutos, mientras que los bucles más generalistas perdieron tiempo en formato y en pensar demasiado.