Transformer-Sprachmodell läuft lokal auf handelsüblichem Game Boy Color

✍️ OpenClawRadar📅 Veröffentlicht: 13. Mai 2026🔗 Source
Ad

Ein Entwickler hat ein echtes Transformer-Sprachmodell auf einem handelsüblichen Game Boy Color (GBC) zum Laufen gebracht – ohne Telefon, PC, WLAN oder Cloud-Inferenz. Die gesamte Inferenz-Pipeline läuft lokal auf der Handheld-Hardware.

Ad

Wichtige Details

  • Modell: Andrej Karpathys TinyStories-260K, konvertiert auf INT8-Gewichte mit Festkommaarithmetik – keine Gleitkommaunterstützung erforderlich.
  • Hardware: Handelsüblicher Game Boy Color + EZ Flash Junior Flash-Cartridge + microSD-Karte.
  • Build-Toolchain: GBDK-2020, erzeugt eine MBC5 Game Boy ROM.
  • Speicherarchitektur: Modellgewichte liegen im bankgeschalteten Cartridge-ROM. Der KV-Cache wird im Cartridge-SRAM gespeichert, da der Arbeitsspeicher des GBC winzig ist.
  • Eingabe des Prompts: Auf dem Gerät über D-Pad/Tasten und ein Bildschirmtastatur.
  • Inferenz-Pipeline: Prompt-Tokenisierung auf dem GBC, dann Transformer-Prefill + autoregressive Generierung mit KV-Caching.
  • Leistung: Extrem langsam; die Ausgabe ist aufgrund starker Quantisierung und mathematischer Näherungen Kauderwelsch, aber die grundlegende Transformer-Schleife funktioniert.
  • Quellcode: Verfügbar auf GitHub unter github.com/maddiedreese/gbc-transformer. Ein großer Teil des Codes wurde mit Codex AI erstellt.

Das Projekt zeigt, dass selbst extrem ressourcenbeschränkte Hardware Transformer-Inferenz mit aggressiver Quantisierung und Speicherverwaltungstricks ausführen kann. Es ist ein Proof-of-Concept, kein praktisches LLM, aber eine technische Kuriosität, die einen Blick wert ist.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Siehe auch

Ubuntu Linux integriert im nächsten Jahr KI-Funktionen, beginnend mit lokalem Inferencing
Nachrichten

Ubuntu Linux integriert im nächsten Jahr KI-Funktionen, beginnend mit lokalem Inferencing

Canonical kündigt einen mehrjährigen KI-Vorstoß für Ubuntu an, mit Fokus auf lokale Inferenz, agentische Workflows und kontextbewusste OS-Funktionen, die im Laufe des Jahres 2026 ausgerollt werden.

OpenClawRadar
US-Militär nutzte Claude AI für Iran-Angriffe trotz Trump-Verbot
Nachrichten

US-Militär nutzte Claude AI für Iran-Angriffe trotz Trump-Verbot

Das US-Militär hat Berichten zufolge Anthropics KI-Modell Claude für Aufklärung, Zielauswahl und Gefechtssimulationen während der gemeinsamen US-israelischen Angriffe auf den Iran eingesetzt, obwohl Donald Trump Stunden vor dem Angriff Bundesbehörden angewiesen hatte, die Nutzung von Claude einzustellen.

OpenClawRadar
Claude-Code v2.1.108 fügt Steuerung der Prompt-Zwischenspeicherung, eine Zusammenfassungsfunktion und die Entdeckung von Slash-Befehlen hinzu.
Nachrichten

Claude-Code v2.1.108 fügt Steuerung der Prompt-Zwischenspeicherung, eine Zusammenfassungsfunktion und die Entdeckung von Slash-Befehlen hinzu.

Claude-Code v2.1.108 führt die Umgebungsvariablen ENABLE_PROMPT_CACHING_1H und FORCE_PROMPT_CACHING_5M zur Cache-TTL-Steuerung ein, fügt eine über /config oder /recap konfigurierbare Sitzungszusammenfassungsfunktion hinzu und ermöglicht dem Modell, integrierte Slash-Befehle über das Skill-Tool zu entdecken.

OpenClawRadar
MCP vs. Skills Debatte: Die Rollen verstehen und das eigentliche Problem des Kontextverfalls
Nachrichten

MCP vs. Skills Debatte: Die Rollen verstehen und das eigentliche Problem des Kontextverfalls

Ein Reddit-Beitrag klärt, dass MCP Werkzeuge, Authentifizierung und Kontextsteuerung für KI-Agenten bereitstellt, während Skills wiederverwendbare Prompts sind, die das Agentenverhalten definieren. Der Autor argumentiert, dass beides notwendig ist und identifiziert Kontextverfall als ein kritisches Problem, bei dem Agenten Anweisungen vergessen.

OpenClawRadar