Qwen3.6 27B & 35B on vLLM: 単一Radeon R9700チューニング結果

r/LocalLLaMAの投稿で、単一のRadeon AI Pro R9700上で、vLLM RadianceをPodman経由で使用し、Qwen3.6 27B（dense）と35B（MoE）を実行する方法が詳しく説明されています。著者は正確な設定とベンチマーク結果を共有しており、これは特にAMD GPUユーザーにとって有益です。

セットアップと主要な差分

彼らはstilldeadcode/vllm-radiance:0.5.8コンテナを使用しています。このコンテナには、デュアルR9700でテンソル並列処理（TP=2）を使用し、FP8ウェイト向けに調整された参照設定が同梱されています。単一カードでINT4ウェイトを使用する場合、以下の変更が必要です：

• --tensor-parallel-size 1（2枚目のカードなし）
• --gpu-memory-utilization 0.98（参照では0.90–0.97）
• 27Bではnum_speculative_tokens=4 — 2/3/4/8をラダーテストし、4が全深度で8より17–48%高速でした。

ウェイトはAvesed/Qwen3.6-{27B,35B}-INT4-W4A16（圧縮テンソル、group_size 32）です。35BをFP8で実行すると、32GBカードでは実用的なコンテキスト長で収まりません。

重要な修正: tokenizer.json

Avesed INT4リポジトリには、truncation.max_lengthが512に設定され、paddingがFixed(512)になっているtokenizer.jsonが含まれています（おそらくキャリブレーション由来）。これにより、約672px以上のビジョンが壊れます。修正方法: 両方をnullに設定します。

ベンチマーク結果

35B-A3B MoE（KVプールトークン = 440,241）

深度	プリフィル tok/s	デコード tok/s
4k	~7,800	61.4
16k	~7,700	60.1
50k	~6,040	57.0
78k	~5,120	54.7
100k	~4,580	52.9
150k	~3,690	49.5

27B dense、MTP spec=4（KVプールトークン = 212,147）

深度	プリフィル tok/s	デコード tok/s	平均受容長
4k	~1,288	59.6	4.4
16k	~1,345	62.3	4.6
50k	~1,207	59.6	4.5
100k	~1,027	53.7	4.5

注目すべき点: 35B MoEはプリフィルスループットがはるかに高い（最大7.8k tok/s vs 1.3k）一方、デコード速度は同等です。27BのMTP投機は、約4.5トークンの受容長を実現します。

これは、デュアルGPUを持たず、これらのモデルをローカルで実行したいAMDユーザーにとって実用的な構成です。著者は要求に応じて起動スクリプトを提供する用意があります。