Entraînement de GPT-1 sur une RTX 2060 Super 8 Go – Preuve de concept pour le pré-entraînement local

Un utilisateur de Reddit (u/tevlon) a réussi à entraîner le modèle GPT-1 original (117M paramètres) sur une RTX 2060 Super avec 8 Go de VRAM en environ 1 heure. Ce projet démontre que même les GPU gaming d'entrée de gamme peuvent pré-entraîner des modèles de moins de 1B de paramètres, ouvrant la voie aux amateurs sans crédits cloud.

L'auteur note que si GPT-2 est trop volumineux pour un entraînement local sur un tel matériel, GPT-1 est 10 fois plus petit et réalisable. Le point clé : chaque joueur avec une RTX 2060 ou similaire peut désormais pré-entraîner un modèle de taille 1B — et les modèles sous 1B (par exemple Surya OCR de Datalab.to) ne sont pas inutiles ; ils produisent des modèles spécialisés performants.

Le code intègre des améliorations algorithmiques du projet modded-nanogpt tout en restant fidèle à l'implémentation originale d'OpenAI finetune-transformer-lm. Le code a été majoritairement écrit par Claude 4.8 et Codex 5.5, guidés par les instructions de l'utilisateur.

Liens :

• Dépôt de code : github.com/epoyraz/modded-gpt-1
• Poids du modèle : huggingface.co/epoyraz/modded-gpt-1

L'auteur n'est pas un chercheur en ML mais un ingénieur logiciel et un joueur. Le modèle est reconnu comme sous-entraîné (1 heure seulement), mais le principe tient : le pré-entraînement local est désormais accessible à quiconque possède un GPU décent.

Il s'agit d'une preuve de concept qui remet en question l'hypothèse selon laquelle le pré-entraînement à grande échelle nécessite des clusters cloud. Si vous avez un GPU gaming avec 8 Go+ de VRAM, vous pouvez expérimenter le pré-entraînement — commencez avec GPT-1 et passez à l'échelle supérieure.