Verwendung von Claude Code zur Automatisierung von KI-Forschungsexperimenten für 12 Stunden

Automatisierte KI-Forschung mit Claude Code

Ein Entwickler dokumentierte die Nutzung von Claude Code zur Automatisierung von KI-Forschungsexperimenten über 12 Stunden hinweg. Das Projekt konzentrierte sich auf CLaaS, ein Echtzeit-Framework für kontinuierliches Lernen, das Kontext durch Selbst-Distillation in Gewichte überführt.

Experimenteller Aufbau

Das Ziel war es, Selbst-Distillation-Trainingsläufe so zu optimieren, dass die Einhaltung verschiedener Präferenzprüfer durch das Modell maximiert wird, wie etwa präzise Antworten und keine Emojis. Die Experimente liefen lokal auf einer RTX 5090 über Nacht.

Systemarchitektur

Das Repository wurde für hohe Konfigurierbarkeit aufgebaut:

• Jeder einstellbare Parameter über die Kommandozeile mittels Hydra-Konfigurationsmanagement verfügbar gemacht
• HTML-Dashboards für jeden Trainingsschritt und jede Evaluierung
• Metriken, Eingaben und Ausgaben über Dashboards beobachtbar gemacht
• Claude Code konnte Dashboards über curl-Anfragen abfragen, um den Fortschritt zu prüfen

Experimentverwaltung

Der Arbeitsablauf wurde durch eine lokale EXPERIMENTS.md-Datei mit spezifischen Regeln gesteuert:

• Jedes Experiment durfte höchstens eine Variable ändern oder eine Codeänderung vornehmen
• Zwischen Experimenten musste das Modell die vorherige Änderung basierend auf den Ergebnissen entweder übernehmen oder rückgängig machen
• Alle neuen Codeänderungen mussten über Konfigurationen für spätere Optimierungen verfügbar gemacht werden
• Das Modell dokumentierte alle Fortschritte, Hypothesen und Ergebnisse in der Datei als fortlaufendes Protokoll
• Nutze eine "Ralph Wiggum-Schleife" mit dem Ziel, die Präferenzeinhaltung zu maximieren

Ergebnisse

Über 12 Stunden führte das System 9 Experimente durch:

• Entdeckte und behebt einen Modellkollaps-Fehler im ersten Durchlauf
• Optimierte die Gradientenschritte pro Batch auf 4
• Optimierte die Lernrate auf 3e-5
• Die Compliance verbesserte sich von 0,000 auf 1,000
• Der Tokenverbrauch war überraschend niedrig, da die meiste Zeit mit Warten auf Trainingsläufe zwischen den Experimenten verbracht wurde

Die gleiche Aufgabe wurde auch mit Codex für 2 Stunden unter Verwendung einer einfachen Eingabeaufforderung durchgeführt, und sie konvergierte unabhängig auf die gleichen Hyperparameter.

Projektrepository: https://github.com/kfallah/CLaaS