Transformer Language Model работает локально на стандартной Game Boy Color

Разработчик запустил настоящую языковую модель-трансформер на стандартном Game Boy Color (GBC) — без телефона, ПК, Wi-Fi или облачных вычислений. Весь процесс вывода выполняется локально на портативном устройстве.

Ключевые детали

• Модель: TinyStories-260K Андрея Карпати, преобразованная в веса INT8 с математикой фиксированной запятой — без поддержки чисел с плавающей запятой.
• Оборудование: Стандартный Game Boy Color + флеш-картридж EZ Flash Junior + microSD-карта.
• Инструментарий сборки: GBDK-2020, создающий ROM для Game Boy с маппером MBC5.
• Архитектура памяти: Веса модели хранятся в переключаемой банками ROM картриджа. KV-кэш размещается в SRAM картриджа, так как оперативная память GBC очень мала.
• Ввод запроса: На устройстве с помощью D-pad/кнопок и экранной клавиатуры.
• Конвейер вывода: Токенизация запроса на GBC, затем предварительное заполнение трансформера и автогенерация с KV-кэшированием.
• Производительность: Чрезвычайно медленно; вывод представляет собой бессвязный текст из-за сильного квантования и математических приближений, но основной цикл трансформера работает.
• Исходный код: Доступен на GitHub по адресу github.com/maddiedreese/gbc-transformer. Значительная часть кода была создана с помощью Codex AI.

Этот проект демонстрирует, что даже сильно ограниченное по ресурсам оборудование может выполнять вывод трансформера при агрессивном квантовании и уловках управления памятью. Это доказательство концепции, а не практическая LLM, но оно представляет собой технический курьез, достойный изучения.