Projet d'autorecherche de Karpathy : des agents IA exécutent des expériences d'entraînement de LLM pendant la nuit.

Ce que fait le projet d'autorecherche de Karpathy

Andrej Karpathy a publié un petit dépôt nommé "autorecherche" qui illustre le concept de "chercheur IA en boucle". Le système utilise un agent IA pour exécuter de manière autonome des expériences d'entraînement de LLM pendant la nuit sur un seul GPU.

Comment cela fonctionne

L'agent suit ce flux de travail :

• Modifie continuellement le fichier train.py
• Exécute des expériences d'entraînement nanochat de 5 minutes
• Vérifie si la métrique de validation bits-par-octet (val_bpb) s'est améliorée
• Répète ce cycle pendant que vous dormez

Configuration et paramétrage

Le projet a une configuration extrêmement minimale :

• Matériel : Un GPU
• Fichiers : Un fichier principal
• Métriques : Une métrique principale (val_bpb)

L'humain écrit l'invite d'organisation de la recherche dans program.md, et l'agent gère l'itération du code.

Débit d'expérimentation

Avec un budget fixe de 5 minutes par expérience, le système peut exécuter environ 12 expériences par heure.

Cette approche démontre une implémentation pratique de la recherche automatisée où les agents IA peuvent explorer de manière autonome les espaces de paramètres et les configurations d'entraînement, accélérant potentiellement les cycles d'expérimentation pour les développeurs travaillant avec des modèles de langage.