NexQuant: 엣지 배포를 위한 Rust 네이티브 3비트 KV 캐시 엔진
NexQuant는 일반적으로 메모리 제약으로 어려움을 겪는 소비자용 하드웨어에서 고용량 모델을 실행하기 위한 Rust 네이티브 엔진입니다. Tom Turney의 TurboQuant+ 연구를 계승하는 프로덕션 준비 완료 후속작으로 자리매김하고 있습니다.
주요 기술 사항
- 3-5배 메모리 감소: 14B 모델이 이제 4GB VRAM 또는 통합 메모리에 적합
- MSE-Only 안정성: 불안정한 QJL 경로를 안정적인 MSE-only 경로로 대체 (27/27 논리 테스트 통과)
- 통합 Sparse-V: 희소성이 벤치마크 기능에 그치지 않고 실시간 디코드 루프에 통합됨
- Zero-Alloc Prefill: C++ 프로토타입 세그먼트 오류 문제 없이 속도를 위해 100% Safe Rust로 작성
- 하드웨어 지원: Metal, CUDA, Vulkan에 대한 네이티브 런타임 디스패치 및 구형 노트북과 라즈베리 파이를 위한 CPU-AVX2/NEON 백엔드 지원
구현 세부사항
이 프로젝트는 Walsh-Hadamard 변환과 Rust GGUF 파싱을 사용합니다. 3비트 KV 캐시가 수학적으로 가능함을 증명한 Tom Turney의 PolarQuant/TurboQuant+ 돌파구를 기반으로 구축되었습니다. 개발에는 고속 페어 프로그래머로서 Claude(Anthropic)가 참여했습니다.
목표는 모델이 확장됨에 따라 이를 실행하는 능력이 로컬 및 분산 방식으로 유지되도록 하는 것입니다. 팀은 특히 Vulkan SPIR-V 커널에 대한 피드백을 구하고 있습니다.
📖 전체 원문 읽기: r/LocalLLaMA
👀 See Also
OpenClaw 설치 문제 해결하기
사용자들은 openclaw.ai와 openclawd.ai 사이에서 설치 문제를 겪으며, 각 사이트가 서로 다른 설치 명령어를 제공합니다.
오픈소스 마크다운 볼트가 Claude에게 세션 간 지속적인 메모리를 제공합니다
My Portable Brain은 마크다운 볼트 구조와 에이전트 런타임 레이어로 구성되어, Claude에게 신원, 프로젝트, 목표, CRM, 주간 계획에 대한 지속적인 컨텍스트를 제공합니다. Claude Code 및 Claude Cowork과 기본적으로 호환되며, 일반 마크다운 파일을 사용하고, 매일 밤 백그라운드 스크립트를 실행하여 컨텍스트를 최신 상태로 유지합니다.
클로드 AI, YC 2026년 봄 모든 스타트업 평가 — 전체 파이프라인 상세
레딧 사용자가 YC Spring 2026 스타트업을 대상으로 Claude를 실행해 LinkedIn과 언론 기사를 스크랩하고 S~D 등급을 할당했습니다. 대부분의 스타트업이 B나 C 등급을 받았습니다.
Claude Code와 MCP를 사용한 Datadog 경고 트라이아지 자동화
한 개발자가 Claude Code 기술과 Datadog의 MCP 서버를 활용하여 cron 작업을 통해 모니터링 경고를 자동으로 확인하고, 문제를 분류하며, 수정 PR을 여는 시스템을 구축했습니다. 이 설정은 약 30분이 소요되며, 격리된 작업 트리에서 병렬 AI 에이전트를 실행합니다.