Utilisation de Claude Code pour automatiser les expériences de recherche en IA pendant 12 heures
Recherche en IA automatisée avec Claude Code
Un développeur a documenté l'utilisation de Claude Code pour automatiser des expériences de recherche en IA pendant 12 heures d'affilée. Le projet s'est concentré sur CLaaS, un cadre d'apprentissage continu en temps réel qui déplace le contexte dans les poids en utilisant l'auto-distillation.
Configuration expérimentale
L'objectif était d'ajuster les exécutions d'entraînement par auto-distillation pour maximiser la conformité d'un modèle à différents vérificateurs de préférences, tels que des réponses concises et l'absence d'émojis. Les expériences ont été exécutées localement sur un RTX 5090 pendant la nuit.
Architecture du système
Le dépôt a été conçu pour être hautement configurable :
- Chaque paramètre ajustable exposé via CLI en utilisant la gestion de configuration Hydra
- Tableaux de bord HTML pour chaque étape d'entraînement et exécution d'évaluation
- Métriques, entrées et sorties rendues observables via des tableaux de bord
- Claude Code pouvait interroger les tableaux de bord via des requêtes curl pour vérifier la progression
Gestion des expériences
Le flux de travail était contrôlé par un fichier EXPERIMENTS.md local avec des règles spécifiques :
- Chaque expérience pouvait modifier au plus une variable ou apporter un changement de code
- Entre les expériences, le modèle devait soit accepter soit annuler le changement précédent en fonction des résultats
- Tout nouveau changement de code devait être exposé via la configuration pour un ajustement ultérieur
- Le modèle enregistrait toute la progression, les hypothèses et les résultats dans le fichier comme un journal continu
- Utilisation d'une "boucle Ralph Wiggum" avec l'objectif de maximiser la conformité aux préférences
Résultats
Sur 12 heures, le système a exécuté 9 expériences :
- Détecté et corrigé un bogue d'effondrement du modèle lors de la première exécution
- Ajusté les étapes de gradient par lot à 4
- Ajusté le taux d'apprentissage à 3e-5
- La conformité est passée de 0,000 à 1,000
- L'utilisation de jetons était étonnamment faible car la plupart du temps était consacré à l'attente des exécutions d'entraînement entre les expériences
La même tâche a également été exécutée avec Codex pendant 2 heures en utilisant une invite simple, et elle a convergé indépendamment vers les mêmes hyperparamètres.
Dépôt du projet : https://github.com/kfallah/CLaaS
📖 Lire la source complète : r/ClaudeAI
👀 See Also
Développement d'une Application SaaS par un Non-Développeur avec Claude comme Partenaire de Codage
Un directeur des opérations de données sans formation en développement logiciel a utilisé Claude pour construire et lancer une application SaaS complète appelée The Pit Preacher, un assistant de barbecue alimenté par l'IA avec Next.js 14, l'authentification Supabase, les paiements Stripe et le déploiement Vercel.
Les LLM génèrent des requêtes SQL pour analyser des téraoctets de logs d'intégration continue en quelques secondes.
L'agent IA de Mendral a retracé un test instable jusqu'à une mise à jour de dépendance trois semaines plus tôt en écrivant ses propres requêtes SQL, parcourant des centaines de millions de lignes de logs à travers une douzaine de requêtes en quelques secondes. Le système traite 1,5 milliard de lignes de logs CI par semaine, compressées 35:1 dans ClickHouse.
Utiliser Claude en tant que critique impitoyable d'UI/UX avec un prompt de persona spécifique
Un utilisateur de Reddit partage un prompt qui transforme Claude en consultant UI/UX impitoyable qui examine des applications en direct en deux passes : d'abord en tant que designer impitoyable, puis en tant qu'utilisateur novice, produisant ses conclusions dans un fichier markdown priorisé.
Utilisateur de Reddit partage un système pour utiliser Claude comme système d'exploitation professionnel
Un utilisateur de Reddit décrit comment il est passé d'une utilisation de Claude comme moteur de recherche à la mise en place d'un système en 10 étapes avec des structures de dossiers spécifiques, des types de fichiers et des méthodes d'interaction qui traitent Claude comme un système d'exploitation de travail principal.