FairyFuse alcança aceleração de kernel de 29,6x em CPUs através de inferência livre de multiplicação de pesos ternários
FairyFuse é um sistema de inferência para LLMs ternários (valores em {-1,0,+1}) em CPUs comuns. Ao fundir os oito sub-GEMVs de valor real de cada camada amplamente linear em um único loop AVX-512 usando adições e subtrações mascaradas, ele elimina todas as multiplicações de ponto flutuante. A análise Roofline mostra que a compressão de peso de 16x desloca o GEMV limitado pela memória para o regime computacional em CPUs com largura de banda limitada, resultando em um ganho de velocidade de kernel de 29,6x em relação aos kernels convencionais de desquantização e multiplicação. Notavelmente, a abordagem oferece pouco benefício em GPUs.
Principais Resultados
- Taxa de transferência ponta a ponta: 32,4 tokens por segundo em um único Intel Xeon 8558P.
- Comparação com llama.cpp Q4_K_M: 1,24x mais rápido com qualidade quase sem perdas (perplexidade WikiText-2 de 5,52 vs. 5,47 para FP16; precisão downstream de 66,0% vs. 66,0% FP16).
- Compressão de peso: 16x (2 bits por peso) devido à representação ternária — sem necessidade de desquantização para FP.
- Técnica: Funde oito sub-GEMVs em um único loop AVX-512 usando adições/subtrações mascaradas — sem multiplicações de ponto flutuante.
Contexto
Trabalhos anteriores (Fairy2i) mostraram que LLMs ternários podem igualar a qualidade FP16, mas o tempo de execução não explorava a estrutura. FairyFuse preenche essa lacuna ao rearquitetar a inferência para ser livre de multiplicações em CPUs x86 com AVX-512.
📖 Leia a fonte completa: HN LLM Tools
👀 See Also

Resultados do AIME 2026: Ambos os Modelos Aberto e Fechado Obtêm Pontuação Acima de 90%
Os modelos de IA alcançam pontuações notáveis de mais de 90% no AIME 2026, com o DeepSeek V3.2 executando todo o teste por apenas bash.09.

Claude Code 2.1.76 adiciona elicitação MCP, melhorias em worktree e correções para limites de contexto
A versão 2.1.76 do Claude Code introduz suporte à elicitação MCP para entrada estruturada durante tarefas, adiciona worktree.sparsePaths para grandes monorepositórios e corrige erros de 'Limite de contexto atingido' em sessões de 1 milhão de contexto. A versão 2.1.75 tornou as janelas de contexto de 1 milhão padrão para o Opus 4.6 nos planos Max, Team e Enterprise.

DeepSeek Retém o Último Modelo de IA da Nvidia e AMD
A DeepSeek, uma empresa chinesa de IA, está retendo seu modelo de IA mais recente de fabricantes de chips dos EUA, incluindo Nvidia e AMD, de acordo com fontes da Reuters. O artigo tem 19 pontos e 3 comentários no Hacker News.

Padrão C++26 Finalizado com Reflexão, Segurança de Memória, Contratos e Framework Assíncrono
O rascunho do padrão C++26 está completo, introduzindo reflexão para metaprogramação, segurança de memória aprimorada que elimina comportamento indefinido para variáveis não inicializadas e adiciona segurança de limites para tipos da biblioteca padrão, contratos com pré/pós-condições e std::execution para concorrência.