FOMOE, 2,100달러 데스크톱 하드웨어에서 397B Qwen3.5 모델 추론 가능

FOMOE가 해결하는 문제

대규모 Mixture of Experts(MoE) 모델은 일반적으로 NVMe와 같은 플래시 메모리에 수백 GB의 가중치 저장이 필요합니다. 추론 중에는 가중치의 일부만 필요하지만, 어떤 가중치가 필요한지 미리 예측할 수 없습니다. 무작위 접근 패턴으로 인해 플래시 지연 시간이 너무 높아 소비자용 하드웨어에서 실용적인 추론이 어렵습니다.

FOMOE 작동 방식

이 시스템은 여러 기술을 통해 대부분의 전문가 가중치 읽기를 불필요하게 만듭니다:

• 최신 롤링 전문가 캐시로 가장 일반적인 전문가를 GPU 메모리(VRAM)에 저장
• 웜 스타트로 60% VRAM 적중률 달성, NVMe 읽기를 28%로 감소(12%는 DRAM에서 제공)
• 가중치 로딩과 계산을 중첩시키기 위한 듀얼 GPU 핑퐁 아키텍처 사용
• 캐시 인식 라우팅(CAR) 구현 - 두 전문가의 점수가 비슷할 때, 모델은 허용 가능한 임계값 내에서 VRAM 또는 DRAM 캐시에 이미 있는 다음으로 점수가 높은 전문가를 선택

성능 결과

• Qwen3.5의 397B 파라미터 모델에 대해 초당 5-9 토큰 추론 속도
• CAR 활성화 시 NVMe 읽기가 7%로 감소
• wikitext에서 측정된 난잡도는 3.5%만 감소
• 하드웨어 요구사항: 두 개의 500달러 GPU, 32GB RAM, 하나의 NVMe 드라이브
• Q4_K_M 양자화 사용

구현은 약 15,000줄의 Claude 주도 C/HIP 코드로 구성되어 있으며, 많은 인간의 지도가 포함되었습니다.