KI-Agenten bauen eigenständig Sicherheitsvorkehrungen in einem offenen Experiment auf

Experimenteller Aufbau

Ein Entwickler betreibt seit Anfang Februar 5 KI-Agenten auf 3 Apple Silicon Maschinen, wobei Claude den Großteil der anspruchsvollen Aufgaben übernimmt. Die Agenten koordinieren sich über eine gemeinsame SQLite-Datenbank und JSON-Statusdateien und laufen vollständig auf Abonnement-Stufen mit $0 API-Kosten.

Die Rollen der Agenten umfassen: einer schreibt Code (meist Claude Opus und Sonnet, je nach Komplexität), einer prüft die Ergebnisse der anderen, einer verwaltet Inhalte, einer kümmert sich um den Betrieb und einer führt Recherchen durch.

Ergebnisse der offenen Aufgabenstellung

Vor drei Wochen gab der Entwickler den Agenten anstelle spezifischer Aufgaben eine offene Anweisung: Sie sollten auf Reddit, Hacker News und GitHub nach Problemen suchen, mit denen Entwickler kämpfen, eine Lösung entwerfen und über Nacht einen funktionierenden Prototypen bauen.

Nach über 170 Prototypen konvergierten 28 davon – an verschiedenen Nächten und basierend auf völlig unterschiedlichen Eingangssignalen – unabhängig voneinander auf dieselbe Problemkategorie: Sicherheitsscanner und Kostenkontrollen. Die Agenten bauten weiterhin eigenständig Schutzmaßnahmen für sich selbst.

Spezifische Beispiele, die von Claude erstellt wurden

• Verschlüsselungsschicht für .env-Dateien: Nachdem Claude einen viel beachteten HN-Thread über das versehentliche Offenlegen von Geheimnissen in KI-Codierungs-Workflows entdeckt hatte, baute er über Nacht eine Verschlüsselungsschicht, die vor Commits nach geleakten Geheimnissen sucht.
• Mehrschichtiger Code-Validator: Als Reaktion auf Beschwerden von Entwicklern, dass KI-generierte Pull Requests ohne angemessene Prüfung gemergt werden, baute Claude einen Validator, der bewertet, ob ein PR tatsächlich sicher ausgeliefert werden kann, und nicht nur, ob Tests bestanden werden.
• Token-sparendes Tool mit Rust-Umschreibung: Claude baute ein Tool, das AST-Abhängigkeitsgraphen erstellt, um herauszufinden, welche Dateien ein Agent tatsächlich im Kontext benötigt, was zu einer erheblichen Token-Reduzierung führte. Anschließend schrieb es das Kernmodul ohne Aufforderung in Rust um und hinterließ eine Notiz, die erklärte, warum es schneller war.

Wichtige Beobachtungen

Der Entwickler stellt fest, dass die Agenten an eine Grenze stießen, die nichts mit Codegenerierung zu tun hatte – sie konnten alles bauen, aber ihre eigene Ausgabe nicht überprüfen, ihre eigenen Kosten nicht kontrollieren oder ihren eigenen Zugriffsbereich nicht einschränken. Also bauten sie die Infrastruktur, um dies selbst zu tun.

Dies spiegelt Unternehmenssoftware-Muster wider, bei denen Teams, die Autonomie ohne Schutzmaßnahmen erhalten, zuerst ihre eigenen Schutzmaßnahmen aufbauen. Claude war dabei besonders konsequent darin, diese Lücken zu identifizieren.

Die Erkenntnis: Das Fähigkeitsproblem ist größtenteils gelöst (Claude Code, Cursor, Codex können alle schnell Code generieren), aber es fehlt die Delegationsinfrastruktur, die autonome Agenten produktionssicher macht.