Selbstentwickelnde Fähigkeitsmuster-Validierung: Ergebnisse des 5-Runden-Experiments

Experimentaufbau und Ergebnisse

Ein Entwickler führte ein 5-Runden-Experiment durch, um das Self-Evolving Skill-Designmuster für Claude Code zu validieren, das zuvor geteilt wurde. Das Experiment verwendete eine MySQL-Datenbank mit 29 Tabellen und 590 MB Daten aus einem Smart-Building-Management-System.

Die Runden folgten diesem Verlauf: Strukturerkundung → Datenabfragen → Regelentdeckung → komplexe Untersuchung → Wiederholungsüberprüfung.

Wichtige Erkenntnisse

• Five-Gate-Ablehnungsrate: 63,6 % – die meisten Interaktionen führten zu keiner Wissensänderung
• Inkrementelle Konvergenz: +75 → +46 → +12 → +21 → +1
• Gate 2 Selbstkorrektur: Das Muster erkannte und korrigierte 2 fehlerhafte Regeln, die die Skill in früheren Runden geschrieben hatte
• Runde 5: Null Erkundungsschritte, direkte Wiederverwendung von Vorlagen
• Genauigkeit: 100 % – kein falsches Wissen überlebte den Prozess

Eine unerwartete Erkenntnis war, dass Fallstricke bei der Werkzeugnutzung als wertvolles Nebenprodukt erfasst wurden – Probleme, für die der Entwickler nicht geplant hatte, die aber von den Five Gates trotzdem erkannt wurden.

Der Entwickler hat ein zweites Experiment an einer größeren Telefonrechnungsdatenbank in Arbeit. Vollständige Daten mit pro Runde differenzierbaren Momentaufnahmen sind auf GitHub verfügbar.