Савант Коммандер 48B: Пользовательская модель Qwen 3 со смесью экспертов, включающая 12 дистиллированных моделей

Savant Commander 48B — это кастомная модель с архитектурой Mixture-of-Experts (MOE), построенная на основе Qwen 3, которая объединяет 12 дистиллированных моделей от различных провайдеров, включая Claude, Gemini, OpenAI и Deepseek. Модель использует ручную маршрутизацию для изоляции каждого дистиллята, одновременно позволяя устанавливать связи между ними.

Ключевые особенности и архитектура

• Основана на Qwen 3 с длиной контекста 256K
• Структура MOE 4x12B (всего 48B параметров)
• Кастомная маршрутизация изолирует каждую дистиллированную модель, сохраняя межмодельные связи
• Активация по запросу — пользователи могут выбирать, какую дистиллированную модель(и) использовать
• Позволяет напрямую сравнивать различные дистиллированные модели с использованием идентичных запросов

Варианты модели и доступность

Проект включает как обычную, так и нецензурированную («Heretic») версии. Нецензурированная версия была создана путём применения процесса Heretic к каждой отдельной модели перед добавлением их в структуру MOE, а не к целой MOE.

Доступные форматы GGUF:

• Обычная версия: https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-GATED-12x-Closed-Open-Source-Distill-GGUF
• Нецензурированная версия: https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored-GGUF

Исходные репозитории:

• Обычная: https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-GATED-12x-Closed-Open-Source-Distill
• Нецензурированная: https://huggingface.co/DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored

Практическое применение

Маршрутизация по запросу в этой модели позволяет разработчикам тестировать и сравнивать результаты различных дистиллированных моделей, используя одинаковые запросы. Функции управления и контроля документированы в карточке репозитория с подробными инструкциями.

Такой подход к архитектуре MOE предоставляет практичный способ использовать несколько специализированных моделей в рамках единой системы вывода, что особенно полезно для сравнения поведения моделей или выбора конкретных характеристик модели для различных задач.