Savant Commander 48B：12の蒸留モデルを統合したカスタムQwen 3 Mixture-of-Expertsモデル

Savant Commander 48Bは、Claude、Gemini、OpenAI、Deepseekなどのさまざまなプロバイダーから12の蒸留モデルを組み合わせた、Qwen 3アーキテクチャを基に構築されたカスタムMixture-of-Experts（MOE）モデルです。このモデルは、各蒸留モデルを分離しながら同時にそれらの間の接続を維持する手動コーディングルーティングを使用しています。

主な特徴とアーキテクチャ

• 256Kコンテキスト長のQwen 3を基に構築
• 4x12B MOE構造（総パラメータ数48B）
• カスタムルーティングにより各蒸留モデルを分離しながらモデル間接続を維持
• プロンプト制御によるアクティベーション - ユーザーは使用する蒸留モデルを選択可能
• 同一プロンプトを使用した異なる蒸留モデル間の直接比較を可能にします

モデルバリアントと入手可能性

このプロジェクトには、通常版と非検閲版（「Heretic」）の両方が含まれています。非検閲版は、MOE全体に適用するのではなく、各モデルにHereticプロセスを適用してからMOE構造に追加することで作成されました。

利用可能なGGUF形式：

• 通常版：https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-GATED-12x-Closed-Open-Source-Distill-GGUF
• 非検閲版：https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored-GGUF

ソースリポジトリ：

• 通常版：https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-GATED-12x-Closed-Open-Source-Distill
• 非検閲版：https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored

実用的な応用

このモデルのプロンプト制御ルーティングにより、開発者は同じプロンプトを使用して異なる蒸留モデルからの出力をテストおよび比較できます。コマンドおよび制御機能は、詳細な手順とともにリポジトリカードに文書化されています。

このMOEアーキテクチャへのアプローチは、特にモデルの動作を比較したり、異なるタスクに対して特定のモデル特性を選択したりする際に有用な、単一の推論フレームワーク内で複数の専門モデルを活用する実用的な方法を提供します。