Transformer-Sprachmodell läuft lokal auf handelsüblichem Game Boy Color

✍️ OpenClawRadar📅 Veröffentlicht: 13. Mai 2026🔗 Source
Ad

Ein Entwickler hat ein echtes Transformer-Sprachmodell auf einem handelsüblichen Game Boy Color (GBC) zum Laufen gebracht – ohne Telefon, PC, WLAN oder Cloud-Inferenz. Die gesamte Inferenz-Pipeline läuft lokal auf der Handheld-Hardware.

Ad

Wichtige Details

  • Modell: Andrej Karpathys TinyStories-260K, konvertiert auf INT8-Gewichte mit Festkommaarithmetik – keine Gleitkommaunterstützung erforderlich.
  • Hardware: Handelsüblicher Game Boy Color + EZ Flash Junior Flash-Cartridge + microSD-Karte.
  • Build-Toolchain: GBDK-2020, erzeugt eine MBC5 Game Boy ROM.
  • Speicherarchitektur: Modellgewichte liegen im bankgeschalteten Cartridge-ROM. Der KV-Cache wird im Cartridge-SRAM gespeichert, da der Arbeitsspeicher des GBC winzig ist.
  • Eingabe des Prompts: Auf dem Gerät über D-Pad/Tasten und ein Bildschirmtastatur.
  • Inferenz-Pipeline: Prompt-Tokenisierung auf dem GBC, dann Transformer-Prefill + autoregressive Generierung mit KV-Caching.
  • Leistung: Extrem langsam; die Ausgabe ist aufgrund starker Quantisierung und mathematischer Näherungen Kauderwelsch, aber die grundlegende Transformer-Schleife funktioniert.
  • Quellcode: Verfügbar auf GitHub unter github.com/maddiedreese/gbc-transformer. Ein großer Teil des Codes wurde mit Codex AI erstellt.

Das Projekt zeigt, dass selbst extrem ressourcenbeschränkte Hardware Transformer-Inferenz mit aggressiver Quantisierung und Speicherverwaltungstricks ausführen kann. Es ist ein Proof-of-Concept, kein praktisches LLM, aber eine technische Kuriosität, die einen Blick wert ist.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Siehe auch