Resultados de Referencia: 6 Modelos de Bajo Costo vs. Claude Sonnet 4.6 para la Orquestación de OpenClaw

Un desarrollador ejecutó un punto de referencia para encontrar una alternativa más económica a Claude Sonnet 4.6 como orquestador principal para una configuración de agente de codificación de IA OpenClaw. La prueba utilizó una batería constante de 5 tareas con archivos y herramientas reales, sin indicaciones de guía manual.

Las Tareas de la Batería

• T1: Recordar detalles de un archivo específico (elementos abiertos de MEMORY.md)
• T2: Inspeccionar archivos, detectar incompletitud, cruzar referencias + priorizar
• T3: Ejecutar un comando de shell, analizar y reportar la salida exacta
• T4: Detectar una tarea de delegación y asignarla correctamente
• T5: Sintetizar resultados en un resumen ejecutivo

Resultados del Punto de Referencia

Puntuaciones brutas sobre 5, con costo por millón de tokens de salida:

• Claude Sonnet 4.6: 5/5 ($15/M) – Línea base, maneja toda la operación sin fallos
• o4-mini: 5/5 ($4.40/M) – 71% más barato, superó todas las tareas pero con retraso notable en cadenas de razonamiento
• Grok 4.1 Fast: 3/5 ($0.50/M) – Dominó T1/T3/T5, pero falló rotundamente en T2 (leyó 4 líneas del registro SMS, declaró "todo claro")
• Gemini 2.5 Flash: 1/5 ($2.50/M) – Acertó T1, luego dejó de responder a mitad del indicador
• DeepSeek V3.2: 0/5 ($0.42/M) – Tiempo de ejecución de 2 segundos, salida cero
• Llama 4 Maverick: Descalificado ($0.60/M) – Alucinó contenidos de archivos, inventó nombres de archivos de video falsos fechados en 2024 (el año actual es 2026), nunca llamó a herramientas reales

Hallazgo Clave: La Brecha de Juicio

El punto de fallo crítico fue el juicio de archivos en T2. Los modelos tuvieron que leer un registro corto (4 líneas: SMS enviado, hecho), darse cuenta de que estaba incompleto, cambiar a MEMORY.md, listar todos los elementos abiertos en el espacio de trabajo y luego priorizar correctamente (cita médica 19 de marzo > cron flake > etc.). Solo Sonnet y o4-mini tuvieron éxito. Los demás modelos fueron descritos como "perezosos o ciegos" en esta tarea.

Implementación Práctica

Conclusión del desarrollador: Sonnet permanece como orquestador principal. Grok 4.1 Fast se asigna a todos los subagentes (QA de video, distribución, análisis) para un ahorro del 97% en tareas delimitadas como "generar selección" o "publicar tweet".

También implementaron un trabajo cron a las 3AM que busca nuevas versiones de modelos mediante búsqueda web, ejecuta automáticamente la batería, genera un gráfico de barras de mejor a peor y envía el reporte por correo.

La lección central: La orquestación requiere juicio sobre brechas en archivos, tiempo de delegación y síntesis—áreas donde los modelos económicos fallan consistentemente. Los subagentes, sin embargo, pueden usar modelos más baratos efectivamente para tareas específicas y delimitadas.