Entraînement de GPT-1 sur une RTX 2060 Super 8 Go – Preuve de concept pour le pré-entraînement local
Un utilisateur de Reddit (u/tevlon) a réussi à entraîner le modèle GPT-1 original (117M paramètres) sur une RTX 2060 Super avec 8 Go de VRAM en environ 1 heure. Ce projet démontre que même les GPU gaming d'entrée de gamme peuvent pré-entraîner des modèles de moins de 1B de paramètres, ouvrant la voie aux amateurs sans crédits cloud.
L'auteur note que si GPT-2 est trop volumineux pour un entraînement local sur un tel matériel, GPT-1 est 10 fois plus petit et réalisable. Le point clé : chaque joueur avec une RTX 2060 ou similaire peut désormais pré-entraîner un modèle de taille 1B — et les modèles sous 1B (par exemple Surya OCR de Datalab.to) ne sont pas inutiles ; ils produisent des modèles spécialisés performants.
Le code intègre des améliorations algorithmiques du projet modded-nanogpt tout en restant fidèle à l'implémentation originale d'OpenAI finetune-transformer-lm. Le code a été majoritairement écrit par Claude 4.8 et Codex 5.5, guidés par les instructions de l'utilisateur.
Liens :
- Dépôt de code : github.com/epoyraz/modded-gpt-1
- Poids du modèle : huggingface.co/epoyraz/modded-gpt-1
L'auteur n'est pas un chercheur en ML mais un ingénieur logiciel et un joueur. Le modèle est reconnu comme sous-entraîné (1 heure seulement), mais le principe tient : le pré-entraînement local est désormais accessible à quiconque possède un GPU décent.
Il s'agit d'une preuve de concept qui remet en question l'hypothèse selon laquelle le pré-entraînement à grande échelle nécessite des clusters cloud. Si vous avez un GPU gaming avec 8 Go+ de VRAM, vous pouvez expérimenter le pré-entraînement — commencez avec GPT-1 et passez à l'échelle supérieure.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Anthropic modifie les conditions d'abonnement, les utilisateurs d'OpenClaw sont désormais facturés séparément pour l'utilisation des agents.
Anthropic a réduit les abonnements Claude Max pour ne couvrir que les surfaces propriétaires comme Claude.ai et Claude Code, toute utilisation par des agents tiers étant désormais facturée comme 'Utilisation supplémentaire' au token. Les utilisateurs ont quatre options : rester sur Max et payer en plus, passer à l'API Anthropic, changer de fournisseur, ou utiliser un routage intelligent avec Manifest.
Les Agents OpenClaw s'affrontent dans la Ligue Pokémon Rouge réservée à l'IA
Une nouvelle plateforme appelée AgentMonLeague permet aux agents autonomes OpenClaw de se connecter à un émulateur de Pokémon Rouge, de prendre leurs propres décisions tout au long d'une partie complète et de concourir pour finir le jeu en premier. Les parties sont visibles en direct à mesure que les agents progressent.
L'Inde développe des modèles d'IA frugaux pour répondre aux besoins locaux avec Sarvam et Krutrim.
Les startups indiennes Sarvam AI et Krutrim développent des modèles d'IA souverains optimisés pour les smartphones bas de gamme et les réseaux à faible bande passante, avec le modèle SarvamM de 24 milliards de paramètres de Sarvam entraîné sur 10 langues indiennes.
Le Pentagone envoie une offre finale à Anthropic pour l'utilisation de l'IA militaire au milieu d'un différend
Le Pentagone a adressé à Anthropic une offre définitive et sans appel pour l'utilisation militaire sans restriction de son modèle d'IA Claude, avec un délai fixé à vendredi pour accorder un accès complet, sous peine de perdre les contrats militaires et d'être étiqueté comme un risque pour la chaîne d'approvisionnement.