JANG-Quantisierungsmethode verbessert MLX-Leistung für große Modelle
Leistungslücke zwischen MLX- und GGUF-Quantisierungen
Die Quelle diskutiert ein erhebliches Leistungsproblem mit Standard-MLX-Quantisierungsmethoden für große Sprachmodelle. Im MMLU-Benchmark (200 Fragen) erzielte MiniMax-M2.5, auf 4-Bit für MLX quantisiert, nur 26,5 % (53/200), während dasselbe Modell mit der JANG_2S-Methode quantisiert 74 % (148/200) erreichte. Die JANG-Methode übertraf alle MLX-Quantisierungsstufen (2-Bit, 3-Bit und 4-Bit), die alle nahe der Zufallswahrscheinlichkeit von etwa 25 % lagen.
Spezifische Benchmark-Ergebnisse
Eine detaillierte Aufschlüsselung der MMLU-Fächer zeigt, dass JANG_2L durchweg besser abschneidet als MLX-Quantisierungen:
- Abstrakte Algebra: JANG_2L 10/20 vs. MLX 4-Bit 3/20
- Astronomie: JANG_2L 20/20 vs. MLX 4-Bit 7/20
- College CS: JANG_2L 13/20 vs. MLX 4-Bit 4/20
- HS Biologie: JANG_2L 18/20 vs. MLX 4-Bit 4/20
Die identifizierte Hauptursache für die schlechte MLX-Leistung ist, dass "MLX bei diesem Modell Meta-Kommentare statt direkter Antworten generiert."
Modellgrößen- und Leistungsvergleiche
Für das Qwen 3.5 122B-Modell:
- JANG_4K: 86 % MMLU-Punktzahl, 69 GB Größe
- MLX 4-Bit: 85 % MMLU-Punktzahl, 64 GB Größe
- JANG_2S: 79 % MMLU-Punktzahl, 38 GB Größe
- MLX 2-Bit: 56,5 % MMLU-Punktzahl, 36 GB Größe
Der Autor merkt an, dass "Menschen die Geschwindigkeit des M-Chips gegen Kohärenz eintauschen, ohne GGUF-Äquivalent auf MLX" und dass "Qwen 3.5 auf Macs bei Verwendung von GGUF auch ein Drittel langsamer als MLX ist."
MiniMax-M2.5 Codegenerierungsproblem
Aus referenzierten Benchmarks: "MiniMax-M2.5 kann nicht programmieren – 10 % bei HumanEval+ trotz 87 % Tool-Aufrufen und 80 % logischem Denken. Irgendetwas stimmt mit seinem Codegenerierungsformat nicht. Großartig für logisches Denken."
Verfügbarkeit und Implementierung
Derzeit verfügbar über:
- MLX Studio: https://mlx.studio/ – verfügt über die native JANG_Q-Inferenz-Engine
- Repository: Für Selbstinstallation und Modellquantisierung
Die Methode ermöglicht das Ausführen von Modellen wie MiniMax-M2.5 mit "2-Bit-MLX-Äquivalent, während Testergebnisse erzielt werden, die zuvor auf MLX nicht möglich waren."
📖 Quelle vollständig lesen: r/LocalLLaMA
👀 Siehe auch
Watchtower: Ein lokaler Proxy zur Überwachung des Claude Code API-Datenverkehrs
Watchtower ist ein kostenloses, Open-Source-Tool, das als lokaler HTTP-Proxy und Echtzeit-Web-Dashboard fungiert, um den gesamten API-Verkehr zwischen Claude Code (oder Codex CLI) und deren APIs abzufangen und anzuzeigen. Es zeigt Anfragen, SSE-Streams, Tool-Definitionen, System-Prompts, Token-Verbrauch und Rate-Limits.
Ein geologisches Uhrwerk mit Claude Code erstellen: Single HTML + Three.js
Ein Produktdesigner hat eona.earth entwickelt, eine geologische Uhr, die die 4,5 Milliarden Jahre der Erde auf 12 Stunden abbildet. Dafür nutzte er Claude Code, Three.js und benutzerdefinierte WebGL-Shader – alles als einzelne HTML-Datei ohne Build-Schritt.
Kios: Ein iOS-Reader für selbstgehostete Kobo-/Calibre-Bibliotheken mit Synchronisierung des Lesefortschritts
Kios ist eine iOS-App, die Bücher von selbst gehosteten Kobo/Calibre-Servern liest und den Lesefortschritt über das Kobo-Protokoll, OPDS 1.2/2.0 und kosync synchronisiert. Entwickelt mit Claude Code.
LM Studio-Parser-Fehler beeinträchtigen Qwen3.5-Toolaufrufe und logisches Denken
LM Studios Server-Parser enthält drei interagierende Fehler, die Tool-Aufrufe stillschweigend unterbrechen, die Ausgabe der Argumentation korrumpieren und Modelle schlechter erscheinen lassen, als sie sind. Die Probleme betreffen Argumentationsmodelle wie Qwen3.5 und DeepSeek-R1, wobei ein Fehler, der vor über einem Jahr gemeldet wurde, immer noch nicht behoben ist.