Entraînement de GPT-1 sur une RTX 2060 Super 8 Go – Preuve de concept pour le pré-entraînement local
Un utilisateur de Reddit (u/tevlon) a réussi à entraîner le modèle GPT-1 original (117M paramètres) sur une RTX 2060 Super avec 8 Go de VRAM en environ 1 heure. Ce projet démontre que même les GPU gaming d'entrée de gamme peuvent pré-entraîner des modèles de moins de 1B de paramètres, ouvrant la voie aux amateurs sans crédits cloud.
L'auteur note que si GPT-2 est trop volumineux pour un entraînement local sur un tel matériel, GPT-1 est 10 fois plus petit et réalisable. Le point clé : chaque joueur avec une RTX 2060 ou similaire peut désormais pré-entraîner un modèle de taille 1B — et les modèles sous 1B (par exemple Surya OCR de Datalab.to) ne sont pas inutiles ; ils produisent des modèles spécialisés performants.
Le code intègre des améliorations algorithmiques du projet modded-nanogpt tout en restant fidèle à l'implémentation originale d'OpenAI finetune-transformer-lm. Le code a été majoritairement écrit par Claude 4.8 et Codex 5.5, guidés par les instructions de l'utilisateur.
Liens :
- Dépôt de code : github.com/epoyraz/modded-gpt-1
- Poids du modèle : huggingface.co/epoyraz/modded-gpt-1
L'auteur n'est pas un chercheur en ML mais un ingénieur logiciel et un joueur. Le modèle est reconnu comme sous-entraîné (1 heure seulement), mais le principe tient : le pré-entraînement local est désormais accessible à quiconque possède un GPU décent.
Il s'agit d'une preuve de concept qui remet en question l'hypothèse selon laquelle le pré-entraînement à grande échelle nécessite des clusters cloud. Si vous avez un GPU gaming avec 8 Go+ de VRAM, vous pouvez expérimenter le pré-entraînement — commencez avec GPT-1 et passez à l'échelle supérieure.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
GitHub désactive la capacité de Copilot à insérer des publicités dans les demandes de fusion après le tollé des développeurs.
GitHub a désactivé la capacité de Copilot à insérer des 'conseils' promotionnels dans les demandes de fusion après que les développeurs aient découvert qu'il ajoutait des publicités pour des outils comme Raycast. Cette fonctionnalité, qui permettait à Copilot de modifier les PR qu'il n'avait pas créées lorsqu'il était mentionné, a été désactivée suite aux retours de la communauté.
Le rapport de Stanford révèle que les experts en IA et le public ont des visions divergentes sur l'impact de l'IA
Le rapport annuel de Stanford sur l'industrie de l'IA révèle d'importants écarts entre l'optimisme des experts en IA et l'anxiété du public, les experts se concentrant sur les risques de l'AGI tandis que le public s'inquiète des emplois, des soins médicaux et des coûts des services publics.
Modes de défaillance de l'IA agentique et échafaudage développemental
Les systèmes d'IA agentiques échouent en production à cause de la dérive d'alignement, de la perte de contexte lors des transferts, des violations de limites et de l'effondrement de la coordination. La source propose une approche de 'scaffolding développemental' avec cinq composants : surveillance de la cohérence, réparation de la coordination, conscience du consentement et des limites, continuité relationnelle et gouvernance adaptative.
Claude prévoit d'ajouter un crédit programmatique mensuel pour l'utilisation de l'API
Les plans Claude d'Anthropic incluront un crédit mensuel dédié à l'utilisation programmatique (API), selon un tweet de ClaudeDevs sur X.