Entrenamiento de GPT-1 en una RTX 2060 Super 8GB – Prueba de concepto para preentrenamiento local
Un usuario de Reddit (u/tevlon) entrenó con éxito el modelo GPT-1 original (117M de parámetros) en una RTX 2060 Super con 8GB de VRAM en aproximadamente 1 hora. El proyecto demuestra que incluso las GPUs de juegos económicas pueden preentrenar modelos sub-1B, abriendo la puerta a aficionados sin créditos en la nube.
El autor señala que, aunque GPT-2 es demasiado grande para entrenamiento local en dicho hardware, GPT-1 es 10 veces más pequeño y alcanzable. La conclusión clave: cualquier jugador con una RTX 2060 o similar ahora puede preentrenar un modelo de tamaño 1B—y los modelos menores a 1B (por ejemplo, Surya OCR de Datalab.to) no son basura; producen modelos especializados útiles.
El código incorporó mejoras algorítmicas del proyecto modded-nanogpt manteniéndose fiel a la implementación original de OpenAI finetune-transformer-lm. La base de código fue escrita principalmente por Claude 4.8 y Codex 5.5, guiados por las instrucciones del usuario.
Enlaces:
- Repositorio de código: github.com/epoyraz/modded-gpt-1
- Pesos del modelo: huggingface.co/epoyraz/modded-gpt-1
El autor no es un investigador de ML, sino un ingeniero de software y jugador. Se reconoce que el modelo está subentrenado (solo 1 hora), pero el principio se mantiene: el preentrenamiento local ahora es accesible para cualquiera con una GPU decente.
Esta es una prueba de concepto que desafía la suposición de que el preentrenamiento a gran escala requiere clústeres en la nube. Si tienes una GPU de juegos con 8GB+ de VRAM, puedes experimentar con preentrenamiento: comienza con GPT-1 y escala.
📖 Lee la fuente completa: r/LocalLLaMA
👀 Ver también
VS Code habilitará por defecto el tráiler de Copilot coautorado
El PR #310226 de VS Code de Microsoft cambia el valor predeterminado de la configuración git.addAICoAuthor de 'off' a 'all', añadiendo automáticamente un trailer de Co-authored-by para contribuciones generadas por IA. El PR también revela una discrepancia en el fallback en tiempo de ejecución en repository.ts.
La demanda de energía en EE. UU. alcanzará máximos históricos en 2026-2027 impulsada por la IA y los centros de datos
La Administración de Información Energética de EE. UU. (EIA) pronostica un consumo récord de electricidad en 2026-2027, impulsado principalmente por el aumento de las cargas de trabajo de IA y la expansión de centros de datos.
Evaluaciones de rendimiento de Qwen3.5-27B-FP8 con agentes OpenClaw
Las pruebas muestran que Qwen3.5-27B-FP8 puede ejecutar seis agentes OpenClaw simultáneamente con un rendimiento escalable hasta 120 tokens/segundo. El framework SGLang con caché de prefijo reduce el prellenado de contexto de 100K de 10 segundos a 200 ms.
Resultados AIME 2026: Modelos abiertos y cerrados superan el 90%
Modelos de IA logran 90%+ en AIME 2026, con DeepSeek V3.2 ejecutando toda la prueba por solo bash.09.