Projet d'autorecherche de Karpathy : des agents IA exécutent des expériences d'entraînement de LLM pendant la nuit.
Ce que fait le projet d'autorecherche de Karpathy
Andrej Karpathy a publié un petit dépôt nommé "autorecherche" qui illustre le concept de "chercheur IA en boucle". Le système utilise un agent IA pour exécuter de manière autonome des expériences d'entraînement de LLM pendant la nuit sur un seul GPU.
Comment cela fonctionne
L'agent suit ce flux de travail :
- Modifie continuellement le fichier
train.py - Exécute des expériences d'entraînement nanochat de 5 minutes
- Vérifie si la métrique de validation bits-par-octet (
val_bpb) s'est améliorée - Répète ce cycle pendant que vous dormez
Configuration et paramétrage
Le projet a une configuration extrêmement minimale :
- Matériel : Un GPU
- Fichiers : Un fichier principal
- Métriques : Une métrique principale (
val_bpb)
L'humain écrit l'invite d'organisation de la recherche dans program.md, et l'agent gère l'itération du code.
Débit d'expérimentation
Avec un budget fixe de 5 minutes par expérience, le système peut exécuter environ 12 expériences par heure.
Cette approche démontre une implémentation pratique de la recherche automatisée où les agents IA peuvent explorer de manière autonome les espaces de paramètres et les configurations d'entraînement, accélérant potentiellement les cycles d'expérimentation pour les développeurs travaillant avec des modèles de langage.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Skillware ajoute un générateur de données synthétiques avec notation d'entropie pour l'affinage local des modèles.
Skillware a publié une nouvelle compétence de générateur de données synthétiques qui utilise des heuristiques de taux de compression zlib pour évaluer la diversité des sorties, aidant à prévenir l'effondrement du modèle. L'outil fonctionne immédiatement avec Ollama, prend en charge Gemini/Anthropic pour les lots à raisonnement élevé, et produit des lots JSON pour les pipelines de fine-tuning .jsonl.
Plugin AxonFlow pour OpenClaw : Approbation préalable des outils et rédaction des RPD
Un plugin OpenClaw auto-hébergé qui vérifie les arguments des outils avant exécution, met en pause les appels risqués pour approbation humaine et masque les PII dans les messages sortants. Utilise les hooks du cycle de vie d'OpenClaw — aucune modification du code de l'agent nécessaire.
Apfel : Outil CLI gratuit pour accéder au LLM sur appareil d'Apple sur macOS
Apfel v0.6.13 est un binaire Swift 6.3 qui expose le LLM intégré d'Apple sous forme d'outil CLI, de serveur compatible OpenAI et de chat interactif. Il fonctionne à 100 % sur l'appareil sans clés API ni frais, utilisant le modèle à 4 096 tokens livré avec macOS 26+ sur les Mac à puce Apple Silicon.
Visualiseur en ligne : Les modèles d'IA locaux peuvent désormais générer des visualisations HTML interactives
Inline Visualizer est un plugin sous licence BSD-3 pour Open WebUI qui permet à tout modèle d'IA local prenant en charge les appels d'outils de générer des visualisations HTML/SVG interactives directement dans le chat, avec un pont JavaScript permettant aux éléments d'envoyer des messages à l'IA.