Prueba a ciegas: 5 agentes de IA locales, el mismo modelo Qwen 27B — uno falló una instrucción de instalación

Alguien en r/openclaw sometió a cinco agentes de programación locales a una misma suite de cinco tareas en el mismo hardware y modelo, luego ocultó los nombres y pidió a los lectores que adivinaran cuál es OpenClaw. Los contendientes: Atomic Agent, goose, Hermes, OpenClaw y OpenCode.

La configuración

• Modelo: Qwen 3.8 27B sin censura, cuantización Q4_K_M
• Entorno de ejecución: llama.cpp
• Hardware: MacBook Pro M5 Max, 64 GB de RAM
• Un agente a la vez, aprobación automática activada
• Un script decide si se aprueba o no — sin evaluación humana

Las tareas eran trabajo de desarrollo habitual: fusionar dos listas de contactos, renombrar una función en tres archivos, corregir un error con pruebas ocultas, contar errores en tres archivos de registro y convertir un PDF de recibo en una hoja de cálculo.

Resultados (nombres ocultos)

Agente   1. Contactos   2. Renombrar   3. Corrección de error   4. Errores   5. Recibo   Total
A       ✅ 4:54       ✅ 0:28     ✅ 0:43      ✅ 0:26     ✅ 3:58      10:29
B       ✅ 6:03       ✅ 1:11     ✅ 0:55      ✅ 0:54     ✅ 15:04     24:07
C       ✅ 13:32      ✅ 0:24     ❌ 0:22      ✅ 0:57     ❌ 0:49     16:04
D       ✅ 6:16       ✅ 1:12     ✅ 0:56      ✅ 0:56     ✅ 2:50      12:10
E       ✅ 5:50       ✅ 1:01     ✅ 0:21      ✅ 0:26     ✅ 3:56      11:34

Cuatro de los cinco agentes superaron las cinco tareas. El agente C falló dos.

Dónde divergieron los agentes

En la tarea de recibo a hoja de cálculo, los agentes A y B se encontraron con una librería de Python faltante y la instalaron sin preguntar. El agente C se detuvo y pidió permiso para instalar — nadie respondió, así que falló. El agente D terminó el trabajo y solo entonces preguntó cómo nombrar la salida.

El patrón de fallos importa más que los tiempos: las herramientas de programación agéntica que se bloquean esperando entrada humana dentro de un bucle no atendido son efectivamente no funcionales en este tipo de ejecución. C pagó por ser educado.

En la corrección del error, C convirtió "Q3/Q4" en "q3q4" en lugar de "q3-q4" — una transformación que parece plausible pero es incorrecta, y que las pruebas ocultas detectaron.

Las demás tareas fueron uniformes: los cinco fusionaron correctamente las listas de contactos en 46 personas, los cinco superaron el renombrado en tres archivos y los cinco contaron 43 errores en los archivos de registro.

La variación en velocidad fue amplia. E terminó en 11:34; B tardó 24:07, casi enteramente por los 15:04 de la tarea del recibo. Ese es el tipo de variación que se obtiene por el muestreo y los reintentos de llamadas a herramientas, no por la calidad del modelo.

El autor dice que la clave de respuestas se publicará en uno o dos días, así que la correspondencia entre letras y productos sigue abierta.