Neuf schémas d'échec courants des agents de codage IA et validation pré-exécution

Un post Reddit de r/LocalLLaMA détaille neuf schémas d'échec observés dans les agents d'IA de codage et propose une approche de validation pour les détecter avant l'exécution du code.

Schémas d'échec identifiés

L'auteur liste ces problèmes spécifiques :

• C1 — Gestion incomplète des énumérations : L'agent fait référence à des valeurs de statut qui n'existent pas dans la base de code.
• C2 — Chemins nuls silencieux : Les paramètres optionnels sont ignorés silencieusement sans documentation.
• C3 — Incompatibilité du modèle d'authentification SSE : EventSource du navigateur ne peut pas envoyer d'en-têtes personnalisés — l'agent utilise une mauvaise authentification.
• C4 — Champs texte non bornés : Aucune troncature sur les colonnes qui reçoivent des descriptions de tâches complètes ou des différences.
• C5 — Condition de concurrence événement/BDD : L'événement SSE se déclenche avant que l'écriture en base de données ne soit terminée. Le frontend interroge une ligne vide.
• C6 — Incompatibilité schéma/ORM : Le type SQL indique nullable, le champ ORM indique requis.
• C7 — Attentes non testables : Exigences de test sans chemin d'implémentation dans les spécifications.
• C8 — Insertions non idempotentes : La logique de nouvelle tentative crée des lignes en double.
• C9 — Importations hallucinées : Le module n'existe pas dans la base de code.

Approche de validation

L'auteur indique qu'il exécute désormais ces schémas comme une passe de validation après la planification et avant l'exécution. Cette approche permettrait de détecter environ 70 % des échecs avant l'exécution de tout code. Le post conclut en demandant si d'autres personnes intègrent une validation pré-exécution similaire dans leurs pipelines d'agents.