Análisis de 413,000 Ejecuciones de Agentes de IA Revela lo que los Hace Tener Éxito

Un nuevo análisis de 413.278 ejecuciones de agentes de ingeniería de software de IA del conjunto de datos CoderForge-Preview revela lo que separa las ejecuciones exitosas de las fallidas. El estudio examinó 17 mil millones de tokens de datos de comportamiento, comparando ejecuciones aprobadas versus fallidas en problemas idénticos.

Hallazgos clave de los datos

El análisis muestra que las prácticas comunes de ingeniería de software humanas pueden reducir realmente el rendimiento de los agentes de IA. Estos son los patrones específicos que surgieron:

• Deja de decirles a los agentes que "exploren primero": Forzar a los agentes a buscar o ver archivos antes de editar reduce su efectividad. A diferencia de los humanos con memoria de trabajo limitada, los agentes ya tienen la base de código en su ventana de contexto. Los primeros turnos dedicados a buscar y explorar indican que el agente está dando palos de ciego en lugar de aprender.
• Los enfoques basados en pruebas son obligatorios: El mayor predictor de ejecuciones exitosas es la fracción de comandos bash iniciales dedicados exclusivamente a ejecutar pruebas. Los agentes no deben editar a ciegas—los mensajes del sistema deben exigir ejecutar la suite de pruebas inmediatamente.
• Mantén a los agentes con una correa corta: Si un agente intenta editar 3 o más archivos en el primer 30% de su ejecución, las tasas de éxito caen significativamente. Dispersar ediciones en múltiples archivos indica confusión. Obliga a los agentes a arreglar una cosa a la vez.
• La perseverancia es una ilusión: Si un agente ejecuta exactamente el mismo comando bash dos veces al principio de la ejecución, está atrapado en un bucle en lugar de "pensar intensamente" o "intentar de nuevo". Rompe el bucle o reinicia la ejecución.

Cambios prácticos de implementación

El análisis recomienda cambios específicos en el scaffolding de los agentes:

• Deja de usar mensajes como: "Explora la base de código, lee los archivos relevantes y descubre el error."
• En su lugar, usa: "Ejecuta la suite de pruebas inmediatamente para verificar la línea base. Haz cambios específicos en un máximo de 1 o 2 archivos. Vuelve a ejecutar las pruebas."

La idea clave es dejar de proyectar las limitaciones humanas en los LLM. Déjalos usar sus enormes ventanas de contexto y oblígalos a demostrar su trabajo con pruebas.