NexQuant: 엣지 배포를 위한 Rust 네이티브 3비트 KV 캐시 엔진

NexQuant는 일반적으로 메모리 제약으로 어려움을 겪는 소비자용 하드웨어에서 고용량 모델을 실행하기 위한 Rust 네이티브 엔진입니다. Tom Turney의 TurboQuant+ 연구를 계승하는 프로덕션 준비 완료 후속작으로 자리매김하고 있습니다.

주요 기술 사항

• 3-5배 메모리 감소: 14B 모델이 이제 4GB VRAM 또는 통합 메모리에 적합
• MSE-Only 안정성: 불안정한 QJL 경로를 안정적인 MSE-only 경로로 대체 (27/27 논리 테스트 통과)
• 통합 Sparse-V: 희소성이 벤치마크 기능에 그치지 않고 실시간 디코드 루프에 통합됨
• Zero-Alloc Prefill: C++ 프로토타입 세그먼트 오류 문제 없이 속도를 위해 100% Safe Rust로 작성
• 하드웨어 지원: Metal, CUDA, Vulkan에 대한 네이티브 런타임 디스패치 및 구형 노트북과 라즈베리 파이를 위한 CPU-AVX2/NEON 백엔드 지원

구현 세부사항

이 프로젝트는 Walsh-Hadamard 변환과 Rust GGUF 파싱을 사용합니다. 3비트 KV 캐시가 수학적으로 가능함을 증명한 Tom Turney의 PolarQuant/TurboQuant+ 돌파구를 기반으로 구축되었습니다. 개발에는 고속 페어 프로그래머로서 Claude(Anthropic)가 참여했습니다.

목표는 모델이 확장됨에 따라 이를 실행하는 능력이 로컬 및 분산 방식으로 유지되도록 하는 것입니다. 팀은 특히 Vulkan SPIR-V 커널에 대한 피드백을 구하고 있습니다.