Transformer-Sprachmodell läuft lokal auf handelsüblichem Game Boy Color

Ein Entwickler hat ein echtes Transformer-Sprachmodell auf einem handelsüblichen Game Boy Color (GBC) zum Laufen gebracht – ohne Telefon, PC, WLAN oder Cloud-Inferenz. Die gesamte Inferenz-Pipeline läuft lokal auf der Handheld-Hardware.

Wichtige Details

• Modell: Andrej Karpathys TinyStories-260K, konvertiert auf INT8-Gewichte mit Festkommaarithmetik – keine Gleitkommaunterstützung erforderlich.
• Hardware: Handelsüblicher Game Boy Color + EZ Flash Junior Flash-Cartridge + microSD-Karte.
• Build-Toolchain: GBDK-2020, erzeugt eine MBC5 Game Boy ROM.
• Speicherarchitektur: Modellgewichte liegen im bankgeschalteten Cartridge-ROM. Der KV-Cache wird im Cartridge-SRAM gespeichert, da der Arbeitsspeicher des GBC winzig ist.
• Eingabe des Prompts: Auf dem Gerät über D-Pad/Tasten und ein Bildschirmtastatur.
• Inferenz-Pipeline: Prompt-Tokenisierung auf dem GBC, dann Transformer-Prefill + autoregressive Generierung mit KV-Caching.
• Leistung: Extrem langsam; die Ausgabe ist aufgrund starker Quantisierung und mathematischer Näherungen Kauderwelsch, aber die grundlegende Transformer-Schleife funktioniert.
• Quellcode: Verfügbar auf GitHub unter github.com/maddiedreese/gbc-transformer. Ein großer Teil des Codes wurde mit Codex AI erstellt.

Das Projekt zeigt, dass selbst extrem ressourcenbeschränkte Hardware Transformer-Inferenz mit aggressiver Quantisierung und Speicherverwaltungstricks ausführen kann. Es ist ein Proof-of-Concept, kein praktisches LLM, aber eine technische Kuriosität, die einen Blick wert ist.