ゲームボーイカラーで動作するTransformer言語モデル
開発者が、実際のトランスフォーマー言語モデルを通常のゲームボーイカラー(GBC)で動作させました。電話、PC、Wi-Fi、クラウド推論は一切使用していません。推論パイプライン全体がハンドヘルドハードウェア上でローカルに実行されます。
主な詳細
- モデル: Andrej Karpathy氏のTinyStories-260K。INT8重みに変換され、固定小数点演算を使用。浮動小数点のサポートは不要。
- ハードウェア: 通常のゲームボーイカラー + EZ Flash Juniorフラッシュカート + microSDカード。
- ビルドツールチェーン: GBDK-2020。MBC5ゲームボーイROMを生成。
- メモリアーキテクチャ: モデル重みはバンク切り替えカートリッジROMに格納。KVキャッシュはカートリッジSRAMに保存。GBCのワークRAMは非常に小さいため。
- プロンプト入力: Dパッド/ボタンとオンスクリーンキーボードを使用してデバイス上で入力。
- 推論パイプライン: GBC上でプロンプトのトークン化、トランスフォーマーのプリフィル、KVキャッシュを使った自己回帰生成。
- パフォーマンス: 非常に遅い。激しい量子化と数学的近似のため出力は無意味だが、コアのトランスフォーマーループは動作する。
- ソースコード: GitHubのgithub.com/maddiedreese/gbc-transformerで公開。コードの大部分はCodex AIを使って作成。
このプロジェクトは、極度にリソース制約のあるハードウェアでも、積極的な量子化とメモリ管理の工夫によりトランスフォーマー推論が実行可能であることを示しています。実用的なLLMではなく概念実証ですが、技術的興味をそそる価値があります。
📖 ソース全文: r/LocalLLaMA
👀 See Also

アップルのAI戦略と知性の商品化
この記事は、知性が商品化される中で、Appleの保守的なAIへのアプローチが有利になる可能性があると論じています。例えば、Gemma4のようなモデルはスマートフォン上で動作しながらMMLU Proで85.2%を達成し、OpenAIのSoraは1日あたり210万ドルの収益に対して1500万ドルのコストがかかっています。

ミストラルCEO、欧州がAIインフラで米国依存を避けるための猶予は2年と警告
Mistral CEOのArthur Mensch氏は、欧州が独自のAIインフラ(チップ、エネルギー、計算能力)を構築する猶予は2年しかなく、さもなければ米国のハイテク大手の永久的な『属国』になるリスクがあると警告した。

Polsiaプラットフォーム、ライブファウンダー起業で繰り返されるSaaSパターンを提示
Polsiaは、ユーザーがビジネスを説明し、支払いを行うことで、プラットフォームが自律的に実行する自律型ビジネスプラットフォームです。行動科学者が72時間にわたる創業者のライブ起動を観察し、AI SDR自動化ソリューションや十分に活用されていない国際市場などの反復パターンを特定しました。

完全AI工程师:不再触碰代码
Max Heyerは、エージェントがすべてのコードを書き、自分はdiffを読んで仕様を書き、レビューするだけというワークフローを説明しています。重要なスキルはテイスト(味覚)であり、コードを評価することは書くことよりも難しいと述べています。