Resultados de Referencia: 15 LLMs Evaluados en 38 Tareas de Flujo de Trabajo Real
Un desarrollador creó un sistema de evaluación comparativa para determinar a qué LLMs dirigir el trabajo, probando 15 modelos en 38 tareas de su flujo de trabajo real. Las tareas incluyeron transformaciones CSV, conteo de letras, aritmética modular, cumplimiento de formato e instrucciones de múltiples pasos. Todas las tareas fueron calificadas programáticamente usando expresiones regulares y coincidencia exacta—no se utilizó ningún juez LLM.
Resultados de la Evaluación Comparativa
La evaluación involucró 570 llamadas API con un costo total de $2.29. Hallazgos clave:
- Claude 3.5 Opus: 100% de puntuación, $0.69 por ejecución, 14.2 segundos
- Claude 3.5 Sonnet: 100% de puntuación, $0.20 por ejecución, 5.1 segundos
- MiniMax M2.5: 98.60% de puntuación, $0.02 por ejecución, 2.3 segundos
- Kimi K2.5: 98.60% de puntuación, $0.05 por ejecución, 3.8 segundos
- GPT-oss-20b (local): 98.30% de puntuación, $0 por ejecución, 4.1 segundos
- Gemini 2.5 Flash: 97.10% de puntuación, $0.00 por ejecución, 1.1 segundos
- Claude 3.5 Haiku: 96.90% de puntuación, $0.02 por ejecución, 1.8 segundos
Análisis de Costo-Rendimiento
Sonnet y Opus obtuvieron ambos un 100%, pero Opus cuesta 3.5 veces más por llamada. Para las tareas diarias del desarrollador, Sonnet maneja todo lo que Opus hace. Gemini Flash a $0.003 por ejecución versus Opus a $0.69 por ejecución representa una diferencia de costo de 265x por una brecha de rendimiento de 2.9 puntos.
Hallazgos Sorprendentes
MiniMax M2.5 y Kimi K2.5 lograron ambos un 98.6% con 100% de cumplimiento de formato—el desarrollador no había usado ninguno de estos modelos antes de realizar la evaluación. GPT-oss-20b ejecutándose localmente obtuvo un 98.3% por $0, superando a Haiku y DeepSeek R1.
Proceso de Control de Calidad
El proceso de control de calidad reveló errores en la calificación. Los resultados iniciales mostraban que Haiku superaba a Sonnet, lo que resultó ser un error en el sistema de puntuación que producía calificaciones por encima del 100%. Se realizaron cinco revisiones de control de calidad, cada una con un modelo diferente, y cada una encontró errores que las anteriores habían pasado por alto.
El desarrollador está cambiando su modelo principal a Sonnet basándose en estos resultados, pero planea alternar entre modelos con más frecuencia dada las variaciones en el rendimiento.
📖 Read the full source: r/ClaudeAI
👀 Ver también
Claude Code Limiter: Limitador de Tasa Autohospedado para Suscripciones Compartidas de Claude Code
claude-code-limiter es una herramienta autoalojable que agrega límites de tasa por usuario a suscripciones compartidas de Claude Code, con características como cuotas por modelo, presupuestos de crédito, ventanas deslizantes de 24 horas, reglas por hora del día y un panel de control en tiempo real.
El complemento OpenClaw conecta agentes de IA a la red de radio Mesh Meshtastic para operaciones fuera de la red.
Un nuevo complemento de código abierto conecta el framework OpenClaw con la red de malla de radio LoRa de Meshtastic, permitiendo conversaciones de IA, consultas a API y control de dispositivos sin conectividad a internet o celular.
Agente Smith: Un comando para andamiar servidores MCP, habilidades y un pipeline de Ticket a PR para Claude Code
Agent Smith escanea tu repositorio, detecta la pila exacta (Go/Echo, React/Zustand, golang-jwt, pgx, etc.), configura servidores MCP, hooks y skills adaptados a tu configuración, y proporciona un pipeline autónomo de ticket a PR.
Orquestrador de Agentes Paralelos para Claude Code Utilizando Git Worktrees
Un desarrollador creó un orquestador paralelo que utiliza git worktrees para crear entornos aislados para los agentes Claude Code, resolviendo el problema de los directorios de trabajo compartidos que causan aplicaciones rotas y estados de git desordenados.