NexQuant: 엣지 배포를 위한 Rust 네이티브 3비트 KV 캐시 엔진
NexQuant는 일반적으로 메모리 제약으로 어려움을 겪는 소비자용 하드웨어에서 고용량 모델을 실행하기 위한 Rust 네이티브 엔진입니다. Tom Turney의 TurboQuant+ 연구를 계승하는 프로덕션 준비 완료 후속작으로 자리매김하고 있습니다.
주요 기술 사항
- 3-5배 메모리 감소: 14B 모델이 이제 4GB VRAM 또는 통합 메모리에 적합
- MSE-Only 안정성: 불안정한 QJL 경로를 안정적인 MSE-only 경로로 대체 (27/27 논리 테스트 통과)
- 통합 Sparse-V: 희소성이 벤치마크 기능에 그치지 않고 실시간 디코드 루프에 통합됨
- Zero-Alloc Prefill: C++ 프로토타입 세그먼트 오류 문제 없이 속도를 위해 100% Safe Rust로 작성
- 하드웨어 지원: Metal, CUDA, Vulkan에 대한 네이티브 런타임 디스패치 및 구형 노트북과 라즈베리 파이를 위한 CPU-AVX2/NEON 백엔드 지원
구현 세부사항
이 프로젝트는 Walsh-Hadamard 변환과 Rust GGUF 파싱을 사용합니다. 3비트 KV 캐시가 수학적으로 가능함을 증명한 Tom Turney의 PolarQuant/TurboQuant+ 돌파구를 기반으로 구축되었습니다. 개발에는 고속 페어 프로그래머로서 Claude(Anthropic)가 참여했습니다.
목표는 모델이 확장됨에 따라 이를 실행하는 능력이 로컬 및 분산 방식으로 유지되도록 하는 것입니다. 팀은 특히 Vulkan SPIR-V 커널에 대한 피드백을 구하고 있습니다.
📖 전체 원문 읽기: r/LocalLLaMA
👀 See Also
원시인: 원시인 스타일 말투를 사용해 토큰을 75% 절감하는 Claude 코드 기술
Caveman은 Claude가 원시인처럼 간결하게 말하면서도 완벽한 기술적 정확성을 유지하도록 하여 토큰 사용량을 약 75% 줄이는 Claude Code 스킬입니다. npx나 Claude 플러그인 마켓플레이스를 통해 설치할 수 있습니다.
AI 코드 리뷰 벤치마크: Claude, Gemini, Codex, Qwen, MiniMax 비교
벤치마크에서 5개의 AI 모델을 알려진 버그가 있는 15개의 Milvus 풀 리퀘스트로 테스트했습니다. Claude는 원시 모드에서 버그의 53%를 탐지했으며, 모델 간 적대적 토론을 통해 탐지율이 80%로 증가했습니다.
개인정보 보호를 최우선으로 하는 MCP 서버 디렉토리가 데이터 처리 정책을 공개하며 출시되었습니다.
toolora.dev/mcp-hub의 새 디렉토리는 MCP 서버를 나열하며, 각 서버의 데이터 처리 정책을 문서화합니다. 여기에는 로컬 대 호스팅 분류, 각 도구가 전송하는 데이터, 계정 필요 여부 등이 포함됩니다. 제작자는 또한 개인정보 보호 주장을 검증할 수 있는 브라우저 테스트 방법을 제공합니다.
TEMM1E v3.1.0: 사용자 상호작용을 통해 자가 미세 조정을 수행하는 AI 에이전트
TEMM1E v3.1.0는 Eigen-Tune을 도입했습니다. 이 시스템은 LLM 상호작용을 학습 데이터로 캡처하고, 사용자 행동에서 품질을 점수화하며, LoRA를 통해 로컬 모델을 미세 조정하는데 추가 LLM 비용이 전혀 들지 않습니다. Apple M2에서 테스트한 결과, 10번의 대화 후 온도 변환을 72°F = '150°C'에서 '21.2°C'로 정정했습니다.