Utilisation de Claude Code pour automatiser les expériences de recherche en IA pendant 12 heures

Recherche en IA automatisée avec Claude Code

Un développeur a documenté l'utilisation de Claude Code pour automatiser des expériences de recherche en IA pendant 12 heures d'affilée. Le projet s'est concentré sur CLaaS, un cadre d'apprentissage continu en temps réel qui déplace le contexte dans les poids en utilisant l'auto-distillation.

Configuration expérimentale

L'objectif était d'ajuster les exécutions d'entraînement par auto-distillation pour maximiser la conformité d'un modèle à différents vérificateurs de préférences, tels que des réponses concises et l'absence d'émojis. Les expériences ont été exécutées localement sur un RTX 5090 pendant la nuit.

Architecture du système

Le dépôt a été conçu pour être hautement configurable :

• Chaque paramètre ajustable exposé via CLI en utilisant la gestion de configuration Hydra
• Tableaux de bord HTML pour chaque étape d'entraînement et exécution d'évaluation
• Métriques, entrées et sorties rendues observables via des tableaux de bord
• Claude Code pouvait interroger les tableaux de bord via des requêtes curl pour vérifier la progression

Gestion des expériences

Le flux de travail était contrôlé par un fichier EXPERIMENTS.md local avec des règles spécifiques :

• Chaque expérience pouvait modifier au plus une variable ou apporter un changement de code
• Entre les expériences, le modèle devait soit accepter soit annuler le changement précédent en fonction des résultats
• Tout nouveau changement de code devait être exposé via la configuration pour un ajustement ultérieur
• Le modèle enregistrait toute la progression, les hypothèses et les résultats dans le fichier comme un journal continu
• Utilisation d'une "boucle Ralph Wiggum" avec l'objectif de maximiser la conformité aux préférences

Résultats

Sur 12 heures, le système a exécuté 9 expériences :

• Détecté et corrigé un bogue d'effondrement du modèle lors de la première exécution
• Ajusté les étapes de gradient par lot à 4
• Ajusté le taux d'apprentissage à 3e-5
• La conformité est passée de 0,000 à 1,000
• L'utilisation de jetons était étonnamment faible car la plupart du temps était consacré à l'attente des exécutions d'entraînement entre les expériences

La même tâche a également été exécutée avec Codex pendant 2 heures en utilisant une invite simple, et elle a convergé indépendamment vers les mêmes hyperparamètres.

Dépôt du projet : https://github.com/kfallah/CLaaS