Atualização APEX MoE Quants: Mais de 25 Novos Modelos e a Nova Categoria I-Nano Lançada
A estratégia APEX de quantização (precisão mista consciente de MoE) se expandiu significativamente desde seu lançamento inicial para o Qwen 3.5 35B-A3B. A coleção do Hugging Face agora inclui mais de 30 modelos MoE das principais famílias, e um novo nível ultracomprimido I-Nano está disponível.
Principais resultados do feedback dos usuários
- Contexto longo se mantém: As versões APEX I-Balanced e I-Compact mantêm coerência após 32k tokens em MoEs de classe 30-50B, onde o Q4_K uniforme degrada. A hipótese é que manter especialistas compartilhados e camadas de borda em alta precisão preserva o roteamento de tokens de longo alcance.
- Desempenho em codificação: Usuários do Qwen 3.6 35B-A3B relatam que I-Compact e I-Mini ficam próximos do F16 em tarefas reais de código, melhor do que as expectativas para o tamanho.
Novos modelos adicionados
Agrupados por família, a maioria são MoEs de classe 30-70B que cabem em uma GPU de consumo no I-Mini/I-Compact:
- Qwen: Qwen 3.5 122B-A10B, 397B-A17B, Claude-distilled, Fernflower, TQ; Qwen 3.6 35B-A3B (herege, destilações Claude 4.6/4.7); Qwen3-Coder 30B, Next.
- Tamanho fronteiriço (Blackwell alugado): MiniMax-M2.5/M2.7 (228B/24B ativos), Mistral-Small 4 119B-2603, NVIDIA Nemotron-3-Super 120B-A12B, GLM-4.7 Flash, Step-3.5 Flash, Nemotron-3-Nano 30B-A3B, Nemotron-3-Nano-Omni (multimodal), Holo3 35B-A3B, Huihui3.5 67B-A3B.
- MoEs híbridos Mamba/SSM: Variantes Nemotron-3-Nano, Holo3, LFM2 24B-A2B.
- Gemma 4: gemma-4 26B-A4B-it (requantizado com template de chat Google atualizado), +destilação Claude Opus, +herege, Gemopus-4 Preview.
- Mesclagens da comunidade: Carnice MoE 35B-A3B, Carnice-Qwen3.6, Qwopus MoE 35B-A3B.
Novo nível: I-Nano (IQ2_XXS)
Reduz especialistas roteados de camadas intermediárias para 2,06 bpw, próximo à borda para IQ2_S, bordas para Q3_K, especialistas compartilhados em Q5_K. Cerca de 20% menor que I-Mini, viável apenas em MoE devido à ativação esparsa de especialistas. Requer imatrix.
Exemplos de tamanhos:
- Qwen 3.5 35B-A3B: I-Mini 13 GB → I-Nano 11 GB
- Nemotron Omni 30B: I-Mini 18 GB → I-Nano 17 GB (menos economia devido ao especialista compartilhado mais denso)
Links
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
A Lovable oferece US$ 100 em créditos gratuitos na API Claude para o Dia Internacional da Mulher.
A Lovable está distribuindo US$ 100 em créditos da API do Anthropic Claude, US$ 250 em créditos de taxas da Stripe e acesso gratuito de 24 horas à sua plataforma até 8 de março. Os usuários precisam resgatar a oferta antes das 12h59 (horário de Brasília) de 9 de março.
Uber queimou seu orçamento anual de Claude Code em 4 meses — Eis o que isso significa
A Uber supostamente esgotou todo o orçamento anual do Claude Code no quarto mês. O post analisa por que os padrões de uso quebraram o modelo de assinatura e o que os desenvolvedores podem aprender sobre estabelecer limites com agentes de IA de codificação.
Claude Code v2.1.154: Opus 4.8, Fluxos de Trabalho Dinâmicos e Grandes Correções
Nova versão adiciona Claude Opus 4.8 com esforço alto padrão, workflows dinâmicos orquestrando dezenas a centenas de agentes, modo rápido a 2x a taxa padrão e mais de uma dúzia de correções de bugs.
Degradação da atenção do Opus 4.7: pontuações MRCR caem de 92% para 59% no contexto de 256k
Opus 4.7 mostra uma queda significativa na recuperação no teste de 8 agulhas do MRCR v2: de 91,9% para 59,2% no contexto de 256k, e de 78,3% para 32,2% em 1M. A Anthropic está descontinuando o MRCR em favor do Graphwalks, mas a degradação corresponde aos relatos dos usuários.