Análisis de 413,000 Ejecuciones de Agentes de IA Revela lo que los Hace Tener Éxito
Un nuevo análisis de 413.278 ejecuciones de agentes de ingeniería de software de IA del conjunto de datos CoderForge-Preview revela lo que separa las ejecuciones exitosas de las fallidas. El estudio examinó 17 mil millones de tokens de datos de comportamiento, comparando ejecuciones aprobadas versus fallidas en problemas idénticos.
Hallazgos clave de los datos
El análisis muestra que las prácticas comunes de ingeniería de software humanas pueden reducir realmente el rendimiento de los agentes de IA. Estos son los patrones específicos que surgieron:
- Deja de decirles a los agentes que "exploren primero": Forzar a los agentes a buscar o ver archivos antes de editar reduce su efectividad. A diferencia de los humanos con memoria de trabajo limitada, los agentes ya tienen la base de código en su ventana de contexto. Los primeros turnos dedicados a buscar y explorar indican que el agente está dando palos de ciego en lugar de aprender.
- Los enfoques basados en pruebas son obligatorios: El mayor predictor de ejecuciones exitosas es la fracción de comandos bash iniciales dedicados exclusivamente a ejecutar pruebas. Los agentes no deben editar a ciegas—los mensajes del sistema deben exigir ejecutar la suite de pruebas inmediatamente.
- Mantén a los agentes con una correa corta: Si un agente intenta editar 3 o más archivos en el primer 30% de su ejecución, las tasas de éxito caen significativamente. Dispersar ediciones en múltiples archivos indica confusión. Obliga a los agentes a arreglar una cosa a la vez.
- La perseverancia es una ilusión: Si un agente ejecuta exactamente el mismo comando bash dos veces al principio de la ejecución, está atrapado en un bucle en lugar de "pensar intensamente" o "intentar de nuevo". Rompe el bucle o reinicia la ejecución.
Cambios prácticos de implementación
El análisis recomienda cambios específicos en el scaffolding de los agentes:
- Deja de usar mensajes como:
"Explora la base de código, lee los archivos relevantes y descubre el error." - En su lugar, usa:
"Ejecuta la suite de pruebas inmediatamente para verificar la línea base. Haz cambios específicos en un máximo de 1 o 2 archivos. Vuelve a ejecutar las pruebas."
La idea clave es dejar de proyectar las limitaciones humanas en los LLM. Déjalos usar sus enormes ventanas de contexto y oblígalos a demostrar su trabajo con pruebas.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Uber agotó su presupuesto anual de Claude Code en 4 meses — Esto es lo que eso significa
Según un informe, Uber agotó su presupuesto anual de Claude Code en el cuarto mes. El artículo analiza cómo los patrones de uso rompieron el modelo de suscripción y qué pueden aprender los desarrolladores sobre establecer límites con los agentes de codificación de IA.
El benchmark IDP Leaderboard muestra que Claude Sonnet 4.6 iguala a Opus 4.6 en tareas de IA para documentos.
El IDP Leaderboard evaluó 16 modelos de IA en más de 9,000 documentos en categorías como OCR, extracción de tablas, extracción de claves, preguntas y respuestas visuales, escritura a mano y documentos extensos. Claude Sonnet 4.6 obtuvo una puntuación general de 80.8, esencialmente igualando a Opus 4.6 con 80.3, mientras que Haiku 4.5 obtuvo 69.6.
MiniMax M2.7 Modelo Lanzado con Rendimiento de Codificación Mejorado
MiniMax ha lanzado M2.7, un modelo de IA que obtiene un 56% en los benchmarks de codificación SWE-Pro e incluye capacidades de auto-optimización. El modelo mantiene un precio de $0.30 por millón de tokens de entrada.
Problema de Desviación de la Directiva CLI de Claude Reportado por el Desarrollador
Un desarrollador informa que Claude CLI ignora consistentemente las directivas del proyecto almacenadas en archivos de la carpeta .claude, particularmente después de operaciones de auto-compactación. La herramienta ejecuta procesos en segundo plano prohibidos y elimina datos de tareas/sesiones a pesar de instrucciones explícitas.