Analyse de 413 000 Exécutions d'Agents IA Révèle les Clés de Leur Succès

Une nouvelle analyse de 413 278 exécutions d'agents d'ingénierie logicielle IA issues du jeu de données CoderForge-Preview révèle ce qui distingue les exécutions réussies des échecs. L'étude a examiné 17 milliards de jetons de données comportementales, en comparant les exécutions réussies et les échecs sur des problèmes identiques.

Principales conclusions des données

L'analyse montre que les pratiques courantes de l'ingénierie logicielle humaine peuvent en réalité réduire les performances des agents IA. Voici les schémas spécifiques qui sont apparus :

• Arrêtez de dire aux agents de « regarder d'abord » : Forcer les agents à utiliser grep ou à visualiser des fichiers avant de les modifier réduit leur efficacité. Contrairement aux humains dont la mémoire de travail est limitée, les agents ont déjà la base de code dans leur fenêtre de contexte. Les premiers tours passés à rechercher et explorer indiquent que l'agent tâtonne plutôt qu'il n'apprend.
• Les approches pilotées par les tests sont obligatoires : Le plus grand prédicteur d'exécutions réussies est la fraction des premières commandes bash consacrées exclusivement à l'exécution de tests. Les agents ne doivent pas modifier aveuglément—les invites système doivent imposer l'exécution immédiate de la suite de tests.
• Gardez les agents en laisse courte : Si un agent tente de modifier 3 fichiers ou plus dans les 30 % premiers de son exécution, les taux de réussite chutent significativement. Disperser les modifications sur plusieurs fichiers indique une confusion. Forcez les agents à corriger une chose à la fois.
• La persévérance est une illusion : Si un agent exécute exactement la même commande bash deux fois au début de l'exécution, il est bloqué dans une boucle plutôt qu'il ne « réfléchit intensément » ou « essaie à nouveau ». Interrompez la boucle ou redémarrez l'exécution.

Changements pratiques de mise en œuvre

L'analyse recommande des changements spécifiques à l'échafaudage des agents :

• Arrêtez d'utiliser des invites comme : « Explorez la base de code, lisez les fichiers pertinents et identifiez le bug. »
• Utilisez plutôt : « Exécutez immédiatement la suite de tests pour vérifier la base de référence. Effectuez des modifications ciblées sur un maximum de 1 ou 2 fichiers. Réexécutez les tests. »

L'idée clé est d'arrêter de projeter les limitations humaines sur les LLM. Laissez-les utiliser leurs énormes fenêtres de contexte et forcez-les à prouver leur travail avec des tests.