Modelo de lenguaje Transformer ejecutándose localmente en un Game Boy Color estándar

Un desarrollador ha logrado que un modelo de lenguaje transformador real funcione en un Game Boy Color (GBC) estándar, sin necesidad de teléfono, PC, Wi-Fi ni inferencia en la nube. Todo el proceso de inferencia se ejecuta localmente en el hardware portátil.

Detalles clave

• Modelo: TinyStories-260K de Andrej Karpathy, convertido a pesos INT8 con matemáticas de punto fijo, sin necesidad de soporte de coma flotante.
• Hardware: Game Boy Color estándar + EZ Flash Junior (cartucho flash) + tarjeta microSD.
• Cadena de herramientas: GBDK-2020, que produce un ROM MBC5 para Game Boy.
• Arquitectura de memoria: Los pesos del modelo residen en la ROM del cartucho con bancos. La caché KV se almacena en la SRAM del cartucho debido a que la RAM de trabajo del GBC es muy pequeña.
• Ingreso de texto: En el propio dispositivo, usando el D-pad y botones con un teclado en pantalla.
• Proceso de inferencia: Tokenización del texto en el GBC, luego precarga del transformador y generación autorregresiva con almacenamiento en caché KV.
• Rendimiento: Extremadamente lento; la salida es ininteligible debido a la fuerte cuantización y aproximaciones matemáticas, pero el bucle principal del transformador funciona.
• Código fuente: Disponible en GitHub en github.com/maddiedreese/gbc-transformer. Una gran parte del código fue creado usando Codex AI.

El proyecto demuestra que incluso hardware con recursos extremadamente limitados puede ejecutar inferencia de transformadores con técnicas agresivas de cuantización y gestión de memoria. Es una prueba de concepto, no un LLM práctico, pero es una curiosidad técnica que vale la pena examinar.