L'expérience d'audit de sécurité montre que les performances des agents IA dépendent de l'accès aux connaissances.

Un utilisateur de Reddit a mené une expérience comparant différentes approches d'audit de sécurité par IA sur la même base de code pour tester comment l'accès aux connaissances affecte les résultats. L'expérience a utilisé le kit de démarrage SaaS Next.js open source de BoxyHQ comme sujet de test.

Trois méthodes d'audit comparées

Le développeur a réalisé trois audits de sécurité indépendants :

• Revue de sécurité intégrée de Claude Code : A trouvé 1 problème critique, 6 élevés et 13 de gravité moyenne
• Agent IA sans contexte supplémentaire : A trouvé 1 problème critique, 5 élevés et 14 de gravité moyenne
• Agent IA avec 10 livres professionnels de sécurité : A trouvé 8 problèmes critiques, 9 élevés et 10 de gravité moyenne

Principales découvertes

L'agent équipé des livres a identifié des vulnérabilités que les autres méthodes ont complètement manquées, notamment :

• Des jetons de réinitialisation de mot de passe stockés en texte brut
• Une condition de race TOCTOU (Time-of-Check to Time-of-Use) sur la validation des jetons
• Un drapeau de fonctionnalité qui appelle res.status(404) mais ne retourne pas, permettant à l'exécution de continuer

Le développeur a noté qu'il ne s'agit pas de cas limites obscurs mais du type de problèmes qui apparaissent dans de vraies violations de sécurité. L'expérience a utilisé la même base de code et le même modèle d'IA pour les trois tests, la seule variable étant les connaissances auxquelles l'agent avait accès.

Implications pour le développement assisté par IA

L'expérience suggère que les agents IA ne sont pas limités par l'intelligence mais par les connaissances qu'ils peuvent accéder au moment nécessaire. Le développeur a conclu que les connaissances de sécurité "résident au-dessus du code" plutôt qu'en son sein, soulignant l'importance de fournir des références spécifiques au domaine aux outils d'IA plutôt que de compter uniquement sur leur formation de base.

Cette approche d'augmentation des agents IA avec des sources de connaissances spécialisées pourrait être particulièrement pertinente pour les développeurs utilisant des assistants de codage IA pour les revues de sécurité, où l'accès aux références de sécurité actuelles et aux meilleures pratiques impacte significativement la qualité des découvertes.