RTX 3090におけるQwen 3.6 27B/35Bの最適化：フラグ、量子化、自動ルーティング

RTX 3090（24GB VRAM）、Ryzen 5700X、64GB RAM、Windows 11でQwen 3.6モデルをローカル実行している開発者が、パフォーマンスと信頼性の問題に直面しています。カスタムフラグを設定してllama-serverを使用しており、量子化の選択、スループット、モデルの自動ルーティングについてアドバイスを求めています。

コマンドと量子化

35B（UD Q4_K_M）：

llama-server.exe -m "path\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf" -ngl 99 -c 131072 -np 2 -fa on -ctk f16 -ctv f16 -b 2048 -ub 512 -t 8 --mlock -rea on --reasoning-budget 2048 --reasoning-format deepseek --jinja --metrics --slots --port 8081 --host 0.0.0.0

27B（UD Q4_K_XL）：

llama-server.exe -m "path\Qwen3.6-27B-UD-Q4_K_XL.gguf" -ngl 99 -c 196608 -np 1 -fa on -ctk q8_0 -ctv q8_0 -b 2048 -ub 512 -t 8 --no-mmap -rea on --reasoning-budget -1 --reasoning-format deepseek --jinja --metrics --slots --port 8081 --host 0.0.0.0

報告されている問題

• 35Bが遅すぎる – 単純な反復タスクでも使い物にならない。
• 27Bは速いが信頼性が低い – コード出力が壊れる。簡単なタスクに20～30分かかることも。
• 手動でのモデル切り替え – サーバーを停止し、新しいコマンドを貼り付け、モデルを再読み込みする必要がある。

具体的な質問

• フラグは最適ではないか？（例：コンテキストサイズ、バッチサイズ、キャッシュタイプ）
• 24GB VRAMで速度とコーディング精度の最良のバランスを提供する量子化/モデルは？
• リクエストごとにモデルを自動切り替えするか、複数のモデルをウォーム状態で保持してルーティングするには？

背景

ユーザーは、スクレイピングと自動化のためにRaspberry Pi 5でHermesエージェントを実行し、OpenCode/QwenCodeでローカルコーディングを行っています。手動でサーバーを再起動する必要のない設定を求めています。