SWE-CI : Nouveaux tests de référence évaluent les agents d'IA sur la maintenance à long terme du code via l'IC

Ce que fait réellement SWE-CI

SWE-CI est le premier benchmark au niveau du dépôt construit sur la boucle d'Intégration Continue. Il vise à faire évoluer le paradigme d'évaluation pour la génération de code, passant d'une correction fonctionnelle statique et à court terme vers une maintenabilité dynamique et à long terme.

Détails clés de l'article

Le benchmark comprend 100 tâches, chacune correspondant en moyenne à :

• Un historique d'évolution couvrant 233 jours
• 71 commits consécutifs dans un dépôt de code du monde réel

SWE-CI exige que les agents résolvent systématiquement ces tâches à travers des dizaines de cycles d'analyse et d'itérations de codage. Cela comble une lacune dans les méthodes d'évaluation actuelles : alors que les agents alimentés par des LLM ont démontré de solides capacités à automatiser des tâches d'ingénierie logicielle telles que la correction statique des bogues (comme le montrent des benchmarks comme SWE-bench), le développement réel implique des changements de besoins complexes et des itérations de fonctionnalités à long terme que les paradigmes de réparation statiques et ponctuels ne parviennent pas à capturer.

L'article note spécifiquement que SWE-CI fournit des informations précieuses sur la capacité des agents à maintenir la qualité du code tout au long d'une évolution à long terme. Cela va au-delà de la simple correction de bogues pour évaluer comment les agents gèrent la nature itérative du développement logiciel réel.

Contexte technique

Ce type de benchmark est significatif car la plupart des évaluations actuelles des agents de codage IA se concentrent sur des corrections ponctuelles ou des problèmes de codage isolés. L'approche basée sur l'IC de SWE-CI reflète mieux la façon dont le développement se déroule réellement dans les projets logiciels matures, où les changements s'accumulent avec le temps et doivent maintenir la compatibilité avec les systèmes existants.

Pour les développeurs utilisant des agents de codage IA, ce benchmark pourrait aider à identifier quels agents sont mieux adaptés à la maintenance à long terme des projets par rapport aux corrections rapides. La nature multi-cycles et itérative des tâches teste la persistance et la cohérence - des qualités qui comptent lors de l'intégration de l'assistance IA dans les flux de travail de développement en cours.