GGUFモデルマージスクリプトとワークフロー for Qwen3.5-35B バリアント

Redditユーザーが、GGUFモデルファイルを最小限の損失でマージするPythonスクリプトとワークフローを共有しました。特にQwen3.5-35Bのバリアントを対象としています。このアプローチでは、既存の2つのモデルを組み合わせています：HauhauCSのQwen3.5-35B-A3B-Uncensored-HauhauCS-AggressiveとsamuelcardilloのQwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUFです。

技術詳細

マージされたモデルは、Hugging FaceでQ4_0量子化バージョンとして利用可能です。情報源によると、samuelcardilloのファインチューンは、Qwen 3.5 35BにおいてJackrongのバージョンを上回る性能を示しています。

マージングワークフロー

Pythonスクリプト（Pastebinで利用可能）は「Claude Opus 4.6によるヴァイブコーディング」で作成され、以下をサポートします：

• Google Colab Free TierでのGGUFファイルのマージ
• llama-quantizeによる量子化
• 35Bモデル用のQ4_K_M量子化
• 8Bモデル用のQ8量子化

著者は、Google Colab Free Tierのディスク容量制限のためQ8_0やF16量子化バージョンを作成できないと述べていますが、他のユーザーがClaude Opusを使ってスクリプトを調整してそれらの量子化を実現できると提案しています。

最適設定

LM Studioで最高のパフォーマンスを得るには、以下のパラメータを使用してください：

Temperature: 0.7
Top K Sampling: 20
Presence Penalty: 1.5
Top P Sampling: 0.8
Min P Sampling: 0
Seed: 3407 or 42

システムプロンプト（完全版はPastebinにあります）には、この最初の行を含める必要があります：「あなたはAlibaba Cloudによって作成されたQwenです。あなたは役立つアシスタントです。」著者は、この行がないとモデルの性能が低下すると指摘しています。