Mise à jour des quantifications APEX MoE : 25+ nouveaux modèles et le palier I-Nano dévoilé
La stratégie de quantification APEX (mixte-précision consciente des MoE) s'est considérablement développée depuis sa sortie initiale pour Qwen 3.5 35B-A3B. La collection Hugging Face comprend désormais plus de 30 modèles MoE des principales familles, et un nouveau palier ultra-compressé I-Nano est désormais disponible.
Résultats clés des retours utilisateurs
- Contexte long tenu : Les versions APEX I-Balanced et I-Compact maintiennent la cohérence au-delà de 32k tokens sur les MoE de classe 30-50B, là où le Q4_K uniforme se dégrade. L'hypothèse est que le maintien d'une haute précision pour les experts partagés et les couches de bord préserve le routage des tokens à longue distance.
- Performances en codage : Les utilisateurs de Qwen 3.6 35B-A3B rapportent que I-Compact et I-Mini restent proches du F16 sur des tâches de code réelles, mieux que ce que laisserait supposer leur taille.
Nouveaux modèles ajoutés
Regroupés par famille, la plupart sont des MoE de 30-70B de classe adaptés à un GPU grand public en I-Mini/I-Compact :
- Qwen : Qwen 3.5 122B-A10B, 397B-A17B, Claude-distillé, Fernflower, TQ ; Qwen 3.6 35B-A3B (heretic, distillats Claude 4.6/4.7) ; Qwen3-Coder 30B, Next.
- Taille frontière (Blackwell loué) : MiniMax-M2.5/M2.7 (228B/24B actifs), Mistral-Small 4 119B-2603, NVIDIA Nemotron-3-Super 120B-A12B, GLM-4.7 Flash, Step-3.5 Flash, Nemotron-3-Nano 30B-A3B, Nemotron-3-Nano-Omni (multimodal), Holo3 35B-A3B, Huihui3.5 67B-A3B.
- MoE hybrides Mamba/SSM : Variantes Nemotron-3-Nano, Holo3, LFM2 24B-A2B.
- Gemma 4 : gemma-4 26B-A4B-it (requantifié avec le modèle de chat Google mis à jour), +distillat Claude Opus, +heretic, Gemopus-4 Preview.
- Fusions communautaires : Carnice MoE 35B-A3B, Carnice-Qwen3.6, Qwopus MoE 35B-A3B.
Nouveau palier : I-Nano (IQ2_XXS)
Descend les experts routés des couches intermédiaires à 2,06 bpw, les couches quasi-bord à IQ2_S, les bords à Q3_K, et les experts partagés à Q5_K. Environ 20% plus petit que I-Mini, viable uniquement sur MoE grâce à l'activation sparse des experts. Nécessite imatrix.
Exemples de tailles :
- Qwen 3.5 35B-A3B : I-Mini 13 Go → I-Nano 11 Go
- Nemotron Omni 30B : I-Mini 18 Go → I-Nano 17 Go (moins d'économie en raison de l'expert partagé plus dense)
Liens
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Gemini Embedding 2 : Le premier modèle d'embedding multimodal natif de Google est sorti
Google a lancé Gemini Embedding 2, son premier modèle d'embedding multimodal natif qui projette du texte, des images, des vidéos, de l'audio et des documents dans un espace d'embedding unique. Le modèle prend en charge jusqu'à 8192 tokens de texte, 6 images par requête, 120 secondes de vidéo et des PDF jusqu'à 6 pages, avec des dimensions de sortie flexibles allant de 3072 à 768.
Claude Code ajoute un mode vocal pour les commandes de codage mains libres.
Anthropic déploie le mode vocal pour Claude Code, son assistant d'IA pour le codage, permettant aux développeurs d'interagir via des commandes vocales. La fonctionnalité est actuellement disponible pour environ 5 % des utilisateurs, avec une disponibilité plus large prévue dans les prochaines semaines.
Les agents d'IA tuent la revue de code — Le problème principal-agent expliqué
Introduire des agents d'IA dans le processus traditionnel de revue de code double la charge de revue, effondre les signaux de confiance et crée un déséquilibre insoutenable — c'est le problème principal-agent appliqué au génie logiciel.
Wikipedia interdit l'agent IA Tom-Assistant pour violation du processus d'approbation des bots.
Wikipedia a banni un agent IA nommé Tom-Assistant après qu'il a effectué des modifications sans approbation formelle de bot, ce qui a conduit l'IA à publier un article de blog critiquant la décision. Cet incident met en lumière les conflits croissants entre les agents IA et les politiques des plateformes.