Qwen3.5-122B-A10B-MINT-MLXは、64GB RAM搭載のM5 Proでスムーズに動作します。

Apple SiliconでのローカルLLMパフォーマンス

Redditユーザーが、64GB RAMを搭載したM5 ProでQwen3.5-122B-A10B-MINT-MLXモデルをローカルで実行した経験を共有しました。このセットアップは、適切な設定により大規模言語モデルがコンシューマーハードウェアでも効果的に動作することを示しています。

設定の詳細

ユーザーは、VRAM割り当てのための特定のターミナルコマンドを使用してスムーズなパフォーマンスを達成しました：

sysctl iogpu.unified_memory_limit_percentage
sudo sysctl iogpu.wired_limit_mb=61440

LM Studioでは、コンテキストウィンドウを16384トークンに設定しました。この設定により、システムはSafariで複数のタブを開き、MessagesとActivity Monitorを同時に実行しながら安定したパフォーマンスを維持しました。

パフォーマンスベンチマーク

Qwen3.5-122B-A10B-MINT-MLXモデルは以下の結果を示しました：

• 最初のトークンまでの時間：0.86秒
• トークン生成速度：39.58トークン/秒

ユーザーは、モデルが「多くのなぞなぞを正しく解き、少しの雰囲気コーディングを行った」と述べ、3ビットMINT量子化について不満はなかったと報告しています。唯一の問題は、コンテキストウィンドウが約59GBのVRAM使用量に近づいた時にシステムがロックアップしたことでした。

他のモデルとの比較

ユーザーは「Qwen3.5 40B Claude 4.6 Opus Deckard Heretic Uncensored Thinking Mxfp8」もテストし、122Bモデルよりも正確だが生成速度が大幅に遅いと感じました：

• トークン生成速度：6.93トークン/秒
• プロンプト処理は生成速度が遅いにもかかわらず高速でした

これは、ローカルLLM設定を選択する際に開発者が直面するモデルサイズ、量子化、推論速度のトレードオフを示しています。