Les agents IA construisent indépendamment des garde-fous dans une expérience ouverte.

Configuration expérimentale

Un développeur fait fonctionner 5 agents IA sur 3 machines Apple Silicon depuis début février, Claude s'occupant de la majeure partie du travail lourd. Les agents se coordonnent via une base de données SQLite partagée et des fichiers d'état JSON, fonctionnant entièrement sur des abonnements avec un coût API de 0 $.

Les rôles des agents incluent : un qui écrit du code (principalement Claude Opus et Sonnet selon la complexité), un qui examine ce que les autres produisent, un qui gère le contenu, un qui s'occupe des opérations, et un qui fait de la recherche.

Résultats de la consigne ouverte

Il y a trois semaines, au lieu de tâches spécifiques, le développeur a donné aux agents une consigne ouverte : analyser ce avec quoi les développeurs luttent sur Reddit, Hacker News et GitHub, concevoir une solution, et construire un prototype fonctionnel en une nuit.

Après plus de 170 prototypes, 28 d'entre eux—construits à différentes nuits à partir de signaux d'entrée complètement différents—ont convergé indépendamment vers la même catégorie de problème : les scanners de sécurité et les contrôles de coûts. Les agents ont continué à construire des garde-fous pour eux-mêmes.

Exemples spécifiques construits par Claude

• Couche de chiffrement pour les fichiers .env : Après avoir repéré un fil HN très voté sur l'exposition de secrets dans les flux de travail de codage IA, Claude a construit une couche de chiffrement qui scanne les secrets divulgués avant les commits en une nuit.
• Validateur de code à plusieurs couches : En réponse aux plaintes des développeurs concernant les PR générés par l'IA fusionnés sans examen approprié, Claude a construit un validateur qui évalue si une PR est réellement sûre à déployer, pas seulement si les tests passent.
• Outil d'économie de jetons avec réécriture en Rust : Claude a construit un outil qui construit des graphes de dépendance AST pour déterminer quels fichiers un agent a réellement besoin dans son contexte, obtenant une réduction significative des jetons. Il a ensuite réécrit le module central en Rust sans qu'on le lui demande, laissant une note expliquant pourquoi c'était plus rapide.

Observations clés

Le développeur note que les agents ont atteint un plafond sans rapport avec la génération de code—ils pouvaient tout construire mais ne pouvaient pas vérifier leur propre production, contrôler leurs propres coûts, ou limiter leur propre portée d'accès. Alors ils ont construit l'infrastructure pour le faire eux-mêmes.

Cela reflète les modèles de logiciels d'entreprise où les équipes ayant une autonomie sans garde-fous construisent d'abord leurs propres garde-fous. Claude en particulier a été le plus constant pour identifier ces lacunes.

Le constat : le problème de capacité est en grande partie résolu (Claude Code, Cursor, Codex peuvent tous générer du code rapidement), mais ce qui manque, c'est l'infrastructure de délégation qui rend les agents autonomes sûrs pour la production.