Savant Commander 48B : Un modèle personnalisé Qwen 3 à base de mélange d'experts, intégrant 12 modèles distillés

Savant Commander 48B est un modèle personnalisé Mixture-of-Experts (MOE) construit sur l'architecture Qwen 3 qui combine 12 modèles distillés provenant de divers fournisseurs incluant Claude, Gemini, OpenAI et Deepseek. Le modèle utilise un routage codé manuellement pour isoler chaque distillation tout en permettant des connexions entre elles simultanément.

Caractéristiques et architecture principales

• Basé sur Qwen 3 avec une longueur de contexte de 256K
• Structure MOE 4x12B (48 milliards de paramètres au total)
• Le routage personnalisé isole chaque modèle distillé tout en maintenant les connexions inter-modèles
• Activation contrôlée par prompt - les utilisateurs peuvent sélectionner quel(s) modèle(s) distillé(s) utiliser
• Permet la comparaison directe entre différents modèles distillés en utilisant des prompts identiques

Variantes du modèle et disponibilité

Le projet inclut à la fois des versions régulières et non censurées ("Hérétique"). La version non censurée a été créée en appliquant le processus Hérétique à chaque modèle individuel avant de les ajouter à la structure MOE, plutôt que de l'appliquer à l'ensemble du MOE.

Formats GGUF disponibles :

• Version régulière : https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-GATED-12x-Closed-Open-Source-Distill-GGUF
• Version non censurée : https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored-GGUF

Dépôts sources :

• Régulier : https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-GATED-12x-Closed-Open-Source-Distill
• Non censuré : https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored

Applications pratiques

Le routage contrôlé par prompt du modèle permet aux développeurs de tester et comparer les sorties de différents modèles distillés en utilisant les mêmes prompts. Les fonctions de commande et de contrôle sont documentées dans la fiche du dépôt avec des instructions détaillées.

Cette approche de l'architecture MOE offre un moyen pratique de tirer parti de plusieurs modèles spécialisés dans un cadre d'inférence unique, particulièrement utile pour comparer les comportements des modèles ou sélectionner des caractéristiques spécifiques de modèles pour différentes tâches.