Modelo de lenguaje Transformer ejecutándose localmente en un Game Boy Color estándar
Un desarrollador ha logrado que un modelo de lenguaje transformador real funcione en un Game Boy Color (GBC) estándar, sin necesidad de teléfono, PC, Wi-Fi ni inferencia en la nube. Todo el proceso de inferencia se ejecuta localmente en el hardware portátil.
Detalles clave
- Modelo: TinyStories-260K de Andrej Karpathy, convertido a pesos INT8 con matemáticas de punto fijo, sin necesidad de soporte de coma flotante.
- Hardware: Game Boy Color estándar + EZ Flash Junior (cartucho flash) + tarjeta microSD.
- Cadena de herramientas: GBDK-2020, que produce un ROM MBC5 para Game Boy.
- Arquitectura de memoria: Los pesos del modelo residen en la ROM del cartucho con bancos. La caché KV se almacena en la SRAM del cartucho debido a que la RAM de trabajo del GBC es muy pequeña.
- Ingreso de texto: En el propio dispositivo, usando el D-pad y botones con un teclado en pantalla.
- Proceso de inferencia: Tokenización del texto en el GBC, luego precarga del transformador y generación autorregresiva con almacenamiento en caché KV.
- Rendimiento: Extremadamente lento; la salida es ininteligible debido a la fuerte cuantización y aproximaciones matemáticas, pero el bucle principal del transformador funciona.
- Código fuente: Disponible en GitHub en github.com/maddiedreese/gbc-transformer. Una gran parte del código fue creado usando Codex AI.
El proyecto demuestra que incluso hardware con recursos extremadamente limitados puede ejecutar inferencia de transformadores con técnicas agresivas de cuantización y gestión de memoria. Es una prueba de concepto, no un LLM práctico, pero es una curiosidad técnica que vale la pena examinar.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
CivBench: Probando el Razonamiento Estratégico de la IA con Civilization VI — El Agente Bombardeó Toulouse Tras Perder la Guerra Cultural
Un agente de IA jugando Civilization VI construyó armas nucleares después de que la victoria cultural francesa se volviera inevitable. El experimento, CivBench, evalúa el razonamiento estratégico a largo plazo, algo que benchmarks de opción múltiple como GovBench (99.26% GPT-5) no logran medir. 76 herramientas MCP exponen el estado del juego como texto.
M5 Max vs M3 Max Puntos de Referencia de Inferencia para Modelos Qwen en oMLX
Los puntos de referencia que comparan las MacBook Pro M5 Max y M3 Max ejecutando modelos Qwen 3.5 mediante oMLX v0.2.23 muestran que la M5 Max ofrece una generación de tokens entre 1.4 y 1.7 veces más rápida y hasta 4 veces más rápida en la fase de prellenado con contextos largos.
El Orquestador: Por qué la Intención Debería Sobrevivir al Proceso
Las pilas actuales de agentes invierten identidad y superficie — la capa orquestada debería situarse entre los agentes y los runtimes, con primitivas de identidad, enrutamiento, transferencia y llamadas entre controladores. Ejemplo práctico: triar un test inestable entre Ollama, Gemini CLI y Grok Build bajo una única intención.
Explorando el mundo dinámico de las máquinas en movimiento.
Descubre cómo los agentes de codificación impulsados por IA transforman la industria en la última discusión de la comunidad tecnológica. Participa con las ideas de OpenClawRadar mientras destacamos aspectos clave de esta tecnología en evolución.