Обучение GPT-1 на RTX 2060 Super 8GB – подтверждение концепции локального предварительного обучения

Пользователь Reddit (u/tevlon) успешно обучил оригинальную модель GPT-1 (117 млн параметров) на RTX 2060 Super с 8GB VRAM примерно за 1 час. Проект демонстрирует, что даже бюджетные игровые видеокарты могут предобучать модели размером до 1B, открывая возможности для энтузиастов без облачных кредитов.

Автор отмечает, что GPT-2 слишком велика для локального обучения на таком оборудовании, но GPT-1 в 10 раз меньше и вполне достижима. Главный вывод: каждый геймер с RTX 2060 или аналогичной картой теперь может предобучить модель размером до 1B — и модели меньше 1B (например, Surya OCR от Datalab.to) не являются мусором; они дают полезные специализированные модели.

Код включает алгоритмические улучшения из проекта modded-nanogpt, оставаясь верным оригинальной реализации OpenAI finetune-transformer-lm. Кодовая база в основном написана Claude 4.8 и Codex 5.5 под руководством пользователя.

Ссылки:

• Репозиторий кода: github.com/epoyraz/modded-gpt-1
• Веса модели: huggingface.co/epoyraz/modded-gpt-1

Автор не является ML-исследователем, а работает инженером-программистом и геймером. Модель считается недообученной (всего 1 час), но принцип остается: локальный предтренинг теперь доступен каждому с достойной видеокартой.

Это proof-of-concept, бросающий вызов предположению, что масштабный предтренинг требует облачных кластеров. Если у вас игровая видеокарта с 8GB+ VRAM, вы можете экспериментировать с предтренингом — начните с GPT-1 и масштабируйтесь.