Sicherheitsaudit-Experiment zeigt, dass die Leistung von KI-Agenten vom Wissenszugang abhängt

Ein Reddit-Nutzer führte ein Experiment durch, das KI-Sicherheitsaudit-Ansätze an derselben Codebasis verglich, um zu testen, wie sich der Wissenszugriff auf die Ergebnisse auswirkt. Als Testobjekt wurde das Open-Source-Next.js-SaaS-Starter-Kit von BoxyHQ verwendet.

Drei Audit-Methoden im Vergleich

Der Entwickler führte drei unabhängige Sicherheitsaudits durch:

• Integrierte Sicherheitsüberprüfung von Claude Code: Fand 1 kritische, 6 hohe und 13 mittelschwere Probleme
• KI-Agent ohne zusätzlichen Kontext: Fand 1 kritische, 5 hohe und 14 mittelschwere Probleme
• KI-Agent mit 10 professionellen Sicherheitsbüchern: Fand 8 kritische, 9 hohe und 10 mittelschwere Probleme

Wesentliche Erkenntnisse

Der mit Büchern ausgestattete Agent identifizierte Schwachstellen, die die anderen Methoden völlig übersahen, darunter:

• Passwort-Reset-Token, die im Klartext gespeichert wurden
• Eine TOCTOU-Race-Condition (Time-of-Check to Time-of-Use) bei der Token-Validierung
• Ein Feature-Flag, das res.status(404) aufruft, aber nicht zurückkehrt, sodass die Ausführung fortgesetzt wird

Der Entwickler stellte fest, dass es sich nicht um obskure Randfälle handelt, sondern um Probleme, die bei echten Sicherheitsverletzungen auftreten. Das Experiment verwendete dieselbe Codebasis und dasselbe KI-Modell in allen drei Tests, wobei die einzige Variable das Wissen war, auf das der Agent zugreifen konnte.

Implikationen für die KI-unterstützte Entwicklung

Das Experiment deutet darauf hin, dass KI-Agenten nicht durch Intelligenz begrenzt sind, sondern durch das Wissen, auf das sie bei Bedarf zugreifen können. Der Entwickler kam zu dem Schluss, dass Sicherheitswissen "über dem Code lebt" und nicht darin, was die Bedeutung der Bereitstellung domänenspezifischer Referenzen für KI-Tools hervorhebt, anstatt sich ausschließlich auf deren Basistraining zu verlassen.

Dieser Ansatz zur Erweiterung von KI-Agenten mit spezialisierten Wissensquellen könnte besonders relevant für Entwickler sein, die KI-Coding-Assistenten für Sicherheitsüberprüfungen verwenden, wo der Zugriff auf aktuelle Sicherheitsreferenzen und Best Practices die Qualität der Ergebnisse erheblich beeinflusst.