Un bon développement assisté par l'IA se produit au niveau des systèmes, pas au niveau des tâches

Un post Reddit de u/johns10davenport soutient que le véritable levier dans le développement assisté par IA vient du changement du système, et non de l'amélioration des invites. L'auteur raconte une frustration courante : chaque fois qu'il ajoute une nouvelle fonctionnalité à son application Phoenix, l'agent de codage IA livre la fonctionnalité mais omet l'élément de menu. La page existe, la fonctionnalité fonctionne, mais il n'y a aucun moyen pour un utilisateur d'y accéder.

Le problème de la correction au niveau de la tâche

Le premier réflexe est de dire au modèle : « ajoute le bouton ». Cela fonctionne, mais l'humain fait encore le travail de réflexion — diagnostiquer le problème et prescrire la solution. L'auteur appelle cela « pédaler le Peloton pour qu'Anthropic me donne des tokens gratuits ». L'ingénierie des invites vous rend simplement meilleur pour dire au modèle quoi faire, mais vous travaillez toujours pour le modèle.

Le changement au niveau du système

Au lieu de corriger le bouton manquant, l'auteur a demandé : comment rendre cette erreur impossible à l'avenir ? Leur solution utilise des spécifications BDD et les helpers de test Phoenix LiveView. La fonction navigate du framework de test permet à l'agent de sauter directement vers n'importe quelle page, réussissant les tests sans jamais toucher à l'interface. Ils ont donc écrit une règle de linter qui empêche l'agent d'appeler navigate. Il existe désormais une fixture autorisée qui place le test sur une route de départ connue, et la seule façon pour l'agent d'atteindre la nouvelle fonctionnalité est de cliquer à travers l'interface — ce qui le force à ajouter l'élément de menu pour réussir le test.

Résultat : le problème ne se reproduira plus jamais, non pas grâce à une meilleure invite, mais parce que le comportement correct est le seul comportement possible.

Point clé

Arrêtez de corriger les sorties du modèle. Commencez à contraindre son environnement pour que la bonne sortie soit le chemin de moindre résistance. Chaque erreur est une occasion de concevoir la suivante.