Étude de l'ETH Zurich : Un contexte excessif réduit les performances des agents d'IA en programmation

Une étude récente de l'ETH Zurich fournit des preuves concrètes que plus de contexte ne signifie pas nécessairement de meilleures performances pour les agents d'IA de codage. La recherche a testé quatre agents de codage sur 138 tâches réelles de GitHub, avec des résultats quantitatifs clairs.

Principales conclusions

L'étude a révélé que les fichiers de contexte générés par LLM ont en réalité réduit les taux de réussite des tâches de 2 à 3 % tandis que les coûts d'inférence ont augmenté de 20 %. Même les fichiers de contexte écrits par l'homme n'ont amélioré la réussite que d'environ 4 %, tout en augmentant toujours significativement les coûts.

Le problème central

Les chercheurs ont découvert que les agents traitaient chaque instruction dans les fichiers de contexte comme quelque chose qui doit être exécuté. Dans une expérience, lorsqu'ils ont réduit les dépôts au seul fichier de contexte généré, les performances se sont à nouveau améliorées. Cela indique que les agents ont du mal à distinguer les instructions essentielles des informations historiques non pertinentes.

Recommandations pratiques

L'étude recommande de n'inclure que les informations que l'agent ne peut vraiment pas découvrir par lui-même, en gardant le contexte minimal. Ceci est particulièrement pertinent pour les données de communication comme les fils de discussion par e-mail, qui peuvent sembler être du contexte mais sont souvent interprétés comme des instructions alors qu'il s'agit en réalité de bruit historique.

Solution API de contexte

Pour résoudre ce problème, les chercheurs ont développé une API de contexte (iGPT) qui se concentre sur le traitement des e-mails. L'API :

• Reconstruit les fils de discussion par e-mail en graphes de conversation avant que le contexte n'atteigne le modèle
• Déduplique le texte cité
• Détecte qui a dit quoi et quand
• Renvoie du JSON structuré au lieu du texte brut

Cette approche garantit que les agents reçoivent un contexte filtré plutôt que des historiques de conversation entiers, améliorant ainsi leur capacité à se concentrer sur les informations pertinentes.