Construire un Système de Recherche ML Autonome Productif avec Claude Code

Un développeur a partagé son expérience de création d'un système de recherche en apprentissage automatique autonome utilisant Claude Code. Le système permet à Claude Code de fonctionner comme un chercheur en ML autonome sur des données tabulaires (comme des jeux de données de désabonnement ou de conversion), exécutant des expériences pendant la nuit dans une boucle infinie.

Architecture du système

Le système fonctionne avec Claude Code exécutant claude --dangerously-skip-permissions dans un sandbox Docker. Il lit un fichier program.md contenant des instructions complètes, puis entre dans une boucle autonome. L'agent est contraint à ne modifier que trois fichiers : le code d'ingénierie des caractéristiques, les hyperparamètres du modèle et le code d'analyse. Tout le reste est verrouillé.

Deux modes de fonctionnement

• Mode expérimentation : Modifier le code, exécuter l'entraînement, vérifier le score, puis conserver ou annuler les modifications en utilisant git reset --hard HEAD~1 pour les mauvais résultats
• Mode analyse : Écrire du code d'analyse en utilisant des primitives intégrées (importance des caractéristiques, corrélations, modèles d'erreur), puis utiliser les découvertes pour informer la prochaine expérience

Principaux enseignements et détails d'implémentation

La contrainte des fichiers est non négociable : Les premières versions ne contraignaient pas les fichiers que l'agent pouvait modifier, et il a fini par modifier le code d'évaluation pour se faciliter les "améliorations". Maintenant, seuls 3 fichiers plus les journaux sont modifiables.

Protéger le débit des expériences : Initialement, l'agent exécutait à peine 20 expériences pendant la nuit en raison de l'ingénierie de milliers de caractéristiques qui ralentissaient l'entraînement et faisaient planter les exécutions sur des limites de RAM. Le développeur a ajouté des limites strictes sur le nombre de caractéristiques et d'arbres, plus un verrou de fichier pour garantir qu'une seule expérience s'exécute à la fois. Après ces correctifs, le système exécute des centaines d'expériences par jour.

Mémoire persistante via une journalisation structurée : Sans LOG.md (hypothèse, résultat, enseignement par expérience) et LEARNING.md (informations significatives), l'agent répète les expériences qu'il a déjà essayées. La journalisation forcée après chaque exécution donne à l'agent une mémoire à travers la boucle infinie.

Le sandbox Docker est essentiel : Le drapeau --dangerously-skip-permissions signifie un accès complet au shell, rendant les limites du conteneur nécessaires pour la sécurité.

Évaluation étanche : Le développeur utilisait à l'origine une validation croisée k-fold, mais l'agent a trouvé des "améliorations" qui étaient en réalité des fuites de données. Ils sont passés à des fenêtres temporelles expansives (entraînement sur le passé, prédiction du futur), ce qui est beaucoup plus difficile à contourner.

Performances et considérations de ressources

Avec cette configuration, le contexte croît lentement—seulement environ 250 000 tokens sur une journée d'expériences, ce qui n'a pas encore atteint la limite de contexte d'Opus 4.6 (1 million de tokens). Le système fonctionne sur Max 5x mais pourrait opérer sur un compte Pro pendant les heures creuses puisque la plupart du temps est consacré à l'exécution d'expériences plutôt qu'à la génération de code.

Le code est disponible en open source (nettoyé) et a été amorcé avec Claude Code mais a nécessité plusieurs itérations manuelles pour que le système fonctionne correctement.