NexQuant: Motor de cache KV de 3 bits nativo em Rust para implantação em borda

NexQuant é um mecanismo nativo em Rust para executar modelos de alto contexto em hardware de consumo que normalmente teria dificuldades com restrições de memória. Ele é posicionado como um sucessor robusto para produção da pesquisa TurboQuant+ de Tom Turney.

Detalhes técnicos principais

• Redução de Memória 3-5x: Modelos de 14B agora cabem em 4GB de VRAM ou memória unificada
• Estabilidade Apenas MSE: Substitui caminhos QJL ruidosos por trajetória estável apenas MSE (27/27 testes lógicos passados)
• Sparse-V Integrado: A esparsidade é integrada no loop de decodificação em tempo real, não apenas sendo um recurso de benchmark
• Prefill Sem Alocação: Escrito em 100% Rust Seguro para velocidade sem problemas de segfault do protótipo C++
• Suporte de Hardware: Despacho de runtime nativo para Metal, CUDA e Vulkan, com suporte de backend CPU-AVX2/NEON para laptops antigos e Raspberry Pi

Especificidades de implementação

O projeto usa Transformadas de Walsh-Hadamard e análise GGUF em Rust. Ele se baseia nos avanços PolarQuant/TurboQuant+ de Tom Turney que provaram que caches KV de 3 bits eram matematicamente possíveis. O desenvolvimento envolveu Claude (Anthropic) como um programador em par de alta velocidade.

O objetivo é garantir que, à medida que os modelos escalam, a capacidade de executá-los permaneça local e descentralizada. A equipe está especificamente buscando feedback sobre kernels Vulkan SPIR-V.