Transformer 언어 모델이 일반 게임보이 컬러에서 로컬로 실행되다

한 개발자가 기본 Game Boy Color(GBC)에서 실제 트랜스포머 언어 모델을 구동하는 데 성공했습니다. 휴대폰, PC, Wi-Fi, 클라우드 추론 없이 말이죠. 전체 추론 파이프라인이 휴대용 하드웨어에서 로컬로 실행됩니다.

주요 세부 사항

• 모델: Andrej Karpathy의 TinyStories-260K를 INT8 가중치로 변환하고 고정 소수점 연산을 사용 — 부동 소수점 지원 불필요.
• 하드웨어: 기본 Game Boy Color + EZ Flash Junior 플래시 카트 + microSD 카드.
• 빌드 도구 체인: GBDK-2020, MBC5 Game Boy ROM 생성.
• 메모리 구조: 모델 가중치는 뱅크 스위칭 카트리지 ROM에 저장됩니다. KV 캐시는 GBC의 워크 RAM이 매우 작기 때문에 카트리지 SRAM에 저장됩니다.
• 프롬프트 입력: D-패드/버튼과 온스크린 키보드를 사용하여 기기 자체에서 입력.
• 추론 파이프라인: GBC에서 프롬프트 토큰화 후, KV 캐싱을 이용한 트랜스포머 프리필 + 자가회귀 생성.
• 성능: 매우 느림; 과도한 양자화와 수학적 근사로 인해 출력은 의미 없는 문자열이지만, 핵심 트랜스포머 루프는 작동합니다.
• 소스 코드: GitHub에서 확인 가능: github.com/maddiedreese/gbc-transformer. 코드의 상당 부분은 Codex AI를 사용하여 작성되었습니다.

이 프로젝트는 극도로 제한된 리소스를 가진 하드웨어에서도 공격적인 양자화와 메모리 관리 기법을 통해 트랜스포머 추론을 실행할 수 있음을 보여줍니다. 실용적인 LLM이라기보다는 개념 증명에 가깝지만, 살펴볼 가치가 있는 기술적 호기심입니다.