QWEN3.6-27B-MLX-8bit erreicht 122B für lokale Workflows bei 29,5 GB

Ein Reddit-Nutzer, der lokale Modelle für Agenten-Orchestrierung, Recherche und Schreiben einsetzt, hat festgestellt, dass QWEN3.6-27B-MLX-8bit – ein Download mit 29,5 GB – bei denselben Aufgaben genauso gut abschneidet wie sein bisheriges Hauptmodell, nur langsamer.

Zuvor hatte er QWEN3.5-122B-a10-uncensored-hauhaucs-aggressive verwendet, ein 79-GB-Modell, das der Nutzer als zuverlässig für achtstündige Workflows beschrieb. Das Problem war nicht die Qualität, sondern der Arbeitsspeicher.

Warum das 79-GB-Modell zum Problem wurde

Auf einem M3 Ultra Mac Studio mit 256 GB RAM stieg die Speichernutzung bei dem 79-GB-Modell auf etwa 93 %, sobald der Videogenerierungs-Teil des Workflows ansprang. Der Nutzer berichtete, dass er regelmäßig Anwendungen schließen musste, um Abstürze zu vermeiden. Zudem sei ein weiterer Mac Studio geplant, aber ausschließlich für Videoarbeiten vorgesehen – bis dahin ist die Rückgewinnung von RAM also wichtig.

Bevor er sich für das 27B-Modell entschied, testete der Nutzer über mehrere Tage andere QWEN- und Nemotron-Modelle und fand keines, das für seine Workloads mit dem 122B vergleichbar wäre.

Der Kompromiss

Das Ergebnis mit QWEN3.6-27B-MLX-8bit ist laut den eigenen Tests des Nutzers ein direkter Kompromiss:

• Auf der Habenseite: 50 GB RAM werden freigesetzt (29,5 GB Footprint statt 79 GB), was den Speicherdruck beseitigt, der zum Schließen von Apps zwang.
• Auf der Kostenseite: Langsamer als das 122B bei denselben Aufgaben.
• Qualität: Der Nutzer bewertete die Leistung als „bei allen diesen Aufgaben genauso gut“ – kein Qualitätsverlust bei der Ausgabe, nur ein Geschwindigkeitsverlust.

Aufgabenumfang

Dies ist keine allgemeine Benchmark-Behauptung. Die Workflows des Nutzers umfassen lokale Orchestrierung, Recherche, Schreiben und einen Videogenerierungsschritt – also schwerere, länger laufende Pipelines, bei denen auf Consumer-Apple-Silicon eher Speicherprobleme auftreten.

Für alle, die Orchestrierung über lange Sitzungen auf einer einzigen Maschine betreiben, ist die praktische Erkenntnis aus dem Beitrag einfach: Ein 29,5-GB-8-Bit-MLX-Modell im 27B-Maßstab kann mit einem deutlich größeren Quant mithalten, sodass der zurückgewonnene RAM an anderer Stelle in der Pipeline eingesetzt werden kann.

Der vollständige Beitrag ist auf r/openclaw zu finden – der Nutzer erwähnt, dass er zuvor einen verwandten Test-Thread veröffentlicht hat, falls Sie die Details hinter dem Vergleich interessieren.