ゲームボーイカラーで動作するTransformer言語モデル

開発者が、実際のトランスフォーマー言語モデルを通常のゲームボーイカラー（GBC）で動作させました。電話、PC、Wi-Fi、クラウド推論は一切使用していません。推論パイプライン全体がハンドヘルドハードウェア上でローカルに実行されます。

主な詳細

• モデル: Andrej Karpathy氏のTinyStories-260K。INT8重みに変換され、固定小数点演算を使用。浮動小数点のサポートは不要。
• ハードウェア: 通常のゲームボーイカラー + EZ Flash Juniorフラッシュカート + microSDカード。
• ビルドツールチェーン: GBDK-2020。MBC5ゲームボーイROMを生成。
• メモリアーキテクチャ: モデル重みはバンク切り替えカートリッジROMに格納。KVキャッシュはカートリッジSRAMに保存。GBCのワークRAMは非常に小さいため。
• プロンプト入力: Dパッド/ボタンとオンスクリーンキーボードを使用してデバイス上で入力。
• 推論パイプライン: GBC上でプロンプトのトークン化、トランスフォーマーのプリフィル、KVキャッシュを使った自己回帰生成。
• パフォーマンス: 非常に遅い。激しい量子化と数学的近似のため出力は無意味だが、コアのトランスフォーマーループは動作する。
• ソースコード: GitHubのgithub.com/maddiedreese/gbc-transformerで公開。コードの大部分はCodex AIを使って作成。

このプロジェクトは、極度にリソース制約のあるハードウェアでも、積極的な量子化とメモリ管理の工夫によりトランスフォーマー推論が実行可能であることを示しています。実用的なLLMではなく概念実証ですが、技術的興味をそそる価値があります。