Qwen3.6-27B-MLX-8bitが29.5GBでローカルワークフロー向けに122Bと同等の性能を実現

エージェントのオーケストレーション、リサーチ、ライティングにローカルモデルを使っているRedditユーザーは、QWEN3.6-27B-MLX-8bit（29.5GBのダウンロード）が、同じタスクにおいて以前のメインドライバーと同等の性能を発揮することを発見しました。ただし、速度は遅くなります。

以前の選択はQWEN3.5-122B-a10-uncensored-hauhaucs-aggressiveという79GBのモデルで、ユーザーは8時間のワークフローでも信頼できると述べていました。問題は品質ではありませんでした。メモリでした。

なぜ79GBモデルが問題になったのか

256GBのRAMを搭載したM3 Ultra Mac Studioでは、ワークフローの動画生成部分が始まると、79GBモデルはメモリ使用率を約93%まで押し上げました。ユーザーはクラッシュを避けるために定期的にアプリケーションを閉じざるを得ないと報告しました。また、追加のMac Studioを計画しているが、それは動画作業専用であるため、それまではRAMの回収が重要だと述べています。

27Bにたどり着く前に、ユーザーは数日間にわたり他のQWENやNemotronモデルをテストしましたが、自分のワークロードにおいて122Bに匹敵するものは見つかりませんでした。

トレードオフ

ユーザー自身のテストによると、QWEN3.6-27B-MLX-8bitの結果は直接的なトレードオフです：

• 利点：50GBのRAMを解放（29.5GBのフットプリント対79GB）。これにより、アプリの終了を強いていたメモリプレッシャーが解消されます。
• コスト：同じタスクで122Bより遅い。
• 品質：ユーザーは「これらすべてのタスクで同等に優れている」と評価しました。出力のダウングレードではなく、速度の低下だけです。

タスクの範囲

これは一般的なベンチマークの主張ではありません。ユーザーのワークフローは、ローカルオーケストレーション、リサーチ、ライティング、および動画生成ステップをカバーしています。これは、コンシューマー向けApple Siliconでメモリ問題を表面化させがちな、より重く長時間実行される種類のパイプラインです。

単一マシンで長いセッションにわたってオーケストレーションを実行している人にとって、この投稿からの実用的な結論は簡単です：27Bスケールの29.5GB 8ビットMLXモデルは、はるかに大きな量子化モデルに対抗でき、回収したRAMをパイプラインの他の場所に充てることができます。

完全な投稿はr/openclawにあります。ユーザーによると、比較の詳細を知りたい場合は、以前に投稿した関連テストスレッドがあるとのことです。