Projet d'autorecherche de Karpathy : des agents IA exécutent des expériences d'entraînement de LLM pendant la nuit.
Ce que fait le projet d'autorecherche de Karpathy
Andrej Karpathy a publié un petit dépôt nommé "autorecherche" qui illustre le concept de "chercheur IA en boucle". Le système utilise un agent IA pour exécuter de manière autonome des expériences d'entraînement de LLM pendant la nuit sur un seul GPU.
Comment cela fonctionne
L'agent suit ce flux de travail :
- Modifie continuellement le fichier
train.py - Exécute des expériences d'entraînement nanochat de 5 minutes
- Vérifie si la métrique de validation bits-par-octet (
val_bpb) s'est améliorée - Répète ce cycle pendant que vous dormez
Configuration et paramétrage
Le projet a une configuration extrêmement minimale :
- Matériel : Un GPU
- Fichiers : Un fichier principal
- Métriques : Une métrique principale (
val_bpb)
L'humain écrit l'invite d'organisation de la recherche dans program.md, et l'agent gère l'itération du code.
Débit d'expérimentation
Avec un budget fixe de 5 minutes par expérience, le système peut exécuter environ 12 expériences par heure.
Cette approche démontre une implémentation pratique de la recherche automatisée où les agents IA peuvent explorer de manière autonome les espaces de paramètres et les configurations d'entraînement, accélérant potentiellement les cycles d'expérimentation pour les développeurs travaillant avec des modèles de langage.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Protocole Agent Browser : un fork open-source de Chrome pour les agents IA atteint 90 % au benchmark Mind2Web
Agent Browser Protocol (ABP) est un fork open-source de Chrome qui gèle JavaScript et le temps après chaque action pour convertir la navigation web en chat multimodal pour les agents IA. Il a obtenu 90,53 % sur le benchmark Online Mind2Web et peut être ajouté à Claude Code avec une seule commande.
Exécution de Qwen3.6-35B-A3B-UD-Q5_K_XL en local avec VS Code Copilot sur AMD R9700
Un utilisateur partage sa configuration fonctionnelle de llama.cpp pour Qwen3.6-35B-A3B-UD-Q5_K_XL sur une seule AMD R9700 avec Vulkan, permettant de générer un site web complet et une suite de tests Playwright à partir de zéro avec un minimum d'incitations.
Architecture IA hybride locale-nuage : schémas pratiques inspirés par r/LocalLLaMA
Le post original propose un modèle d'IA hybride où un modèle local gère les tâches routinières et délègue les raisonnements complexes à un modèle cloud via un seul appel API, avec un « hyperviseur » déterministe pour les garde-fous.
Crag : L'outil open-source génère des règles d'agent IA unifiées à partir des configurations de projet
Crag est un compilateur open-source qui analyse les configurations de projet et génère un fichier governance.md unique, puis le compile en plusieurs fichiers de règles pour agents IA afin d'éviter la dérive de configuration entre des outils comme Claude Code, Cursor et Copilot.