Décroissance des contraintes : pourquoi les agents LLM échouent dans le code backend structuré

Un nouvel article de Francesco Dente, Dario Satriani et Paolo Papotti (arXiv:2605.06445) introduit la décroissance de contrainte — une baisse mesurable des performances des agents LLM à mesure que les exigences structurelles s'accumulent dans la génération de code back-end. Les auteurs évaluent les agents sur 80 tâches de création ex nihilo et 20 tâches d'implémentation de fonctionnalités, couvrant huit frameworks web, en utilisant un contrat API fixe pour isoler la complexité structurelle.

Principaux résultats

• Les configurations performantes perdent en moyenne 30 points de taux de réussite des assertions entre la ligne de base (cahier des charges souple) et les tâches entièrement spécifiées. Les configurations plus faibles approchent un taux de réussite nul.
• La sensibilité au framework est extrême : les agents réussissent dans des frameworks minimaux et explicites comme Flask, mais obtiennent des résultats nettement inférieurs dans des environnements riches en conventions comme FastAPI et Django.
• Principale classe d'erreur : les défauts de la couche de données — une composition incorrecte des requêtes et des violations d'exécution de l'ORM sont à l'origine de la majorité des échecs.

Pourquoi c'est important

Les benchmarks existants récompensent des solutions fonctionnellement correctes mais structurellement arbitraires. Le code de production exige le respect strict des schémas d'architecture, des schémas de base de données et des conventions ORM. L'article démontre que satisfaire conjointement les exigences fonctionnelles et structurelles reste un défi ouvert pour les agents de codage — une réalité que tout développeur utilisant des agents IA en production reconnaîtra.

Si vous utilisez des agents LLM pour du travail back-end, surveillez la décroissance de contrainte : à mesure que vous ajoutez des contraintes (par exemple, modèles de données, migrations, middleware), la qualité des résultats de l'agent peut se dégrader considérablement. Les données suggèrent que vous devez spécifier explicitement les règles structurelles et exécuter des vérificateurs statiques parallèlement aux tests de comportement de bout en bout.