M5 Max vs. M3 Max Inferenz-Benchmarks für Qwen-Modelle auf oMLX
Der Reddit-Nutzer /u/onil_gova führte Inferenz-Benchmarks durch, die 16-Zoll MacBook Pros mit M5 Max- und M3 Max-Prozessoren verglichen, beide mit 40 GPU-Kernen und 128 GB Unified Memory ausgestattet. Die Tests verwendeten oMLX v0.2.23 und drei Qwen 3.5-Modelle: das 122B-A10B MoE, 35B-A3B MoE und 27B dense.
Benchmark-Ergebnisse
Bei pp1024/tg128 (Prompt-Verarbeitungslänge 1024, Token-Generierungslänge 128) zeigte der M5 Max signifikante Geschwindigkeitsverbesserungen:
- 35B-A3B MoE: 134,5 vs. 80,3 tg tok/s (1,7-mal schneller)
- 122B-A10B MoE: 65,3 vs. 46,1 tg tok/s (1,4-mal schneller)
- 27B dense: 32,8 vs. 23,0 tg tok/s (1,4-mal schneller)
Die Leistungslücke vergrößert sich mit längeren Kontexten. Bei einer Kontextlänge von 65K sank das 27B dense-Modell auf 6,8 tg tok/s beim M3 Max gegenüber 19,6 tg tok/s beim M5 Max (2,9-facher Unterschied).
Prefill- und Batching-Leistung
Die Prefill-Vorteile waren noch größer und erreichten beim M5 Max bei langen Kontextlängen bis zu 4-mal schnellere Werte, was auf die GPU Neural Accelerators des M5 Max zurückgeführt wird.
Die Batching-Leistung zeigte wichtige Unterschiede für agentische Workloads:
- M5 Max skalierte auf den 2,54-fachen Durchsatz bei 4-facher Batch-Größe beim 35B-A3B-Modell
- M3 Max Batching bei dense-Modellen verschlechterte die Leistung (0,80-fach bei 2-facher Batch-Größe beim 122B-Modell)
Der Bandbreitenunterschied (614 GB/s beim M5 Max vs. 400 GB/s beim M3 Max) ist signifikant für mehrstufige Agenten-Schleifen oder parallele Tool-Aufrufe.
MoE-Effizienz-Erkenntnisse
Die Benchmarks zeigten, dass das 122B-Modell (mit 10B aktiven Parametern) auf beiden Maschinen schneller generiert als das 27B dense-Modell. Dies zeigt, dass die Anzahl der aktiven Parameter die Inferenzgeschwindigkeit bestimmt, nicht die Gesamtmodellgröße.
Die vollständige interaktive Aufschlüsselung mit allen Diagrammen und Daten ist verfügbar unter: https://claude.ai/public/artifacts/c9fba245-e734-4b3b-be44-a6cabdec6f8f
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Opus 4.7 Aufmerksamkeitsverschlechterung: MRCR-Werte fallen von 92% auf 59% bei 256k Kontext
Opus 4.7 zeigt einen signifikanten Recall-Rückgang im MRCR v2 8-Nadel-Test: von 91,9% auf 59,2% bei 256k Kontext und von 78,3% auf 32,2% bei 1M. Anthropic stellt MRCR zugunsten von Graphwalks ein, aber die Verschlechterung deckt sich mit den Berichten der Nutzer.
Selbstüberwachtes Feintuning an eigenen Fehlern steigert kleine Modelle auf 80 % bei HumanEval
Ein Entwickler trainierte Qwen 2.5 7B auf selbst generierten Codierungspaaren und erreichte 112/164 HumanEval (+87 Probleme) ohne von Menschen geschriebene Trainingsdaten. Der Ansatz lässt sich auf Llama 3.2 3B und Qwen 3 4B übertragen.
Anthropic streicht wichtige Sicherheitsverpflichtung aus Responsible-Scaling-Policy
Anthropic hat die zentrale Verpflichtung aus seiner Responsible Scaling Policy entfernt, die vorschrieb, angemessene Sicherheitsmaßnahmen vor dem Training von KI-Systemen zu garantieren, und verweist dabei auf Wettbewerbsdruck und die Notwendigkeit, die Entwicklung fortzusetzen.
KI und Rechenzentren treiben US-Stromnachfrage 2026–2027 auf Rekordhoch
Die US-Energieinformationsbehörde (EIA) prognostiziert einen rekordhohen Stromverbrauch in den Jahren 2026–2027, hauptsächlich getrieben durch den rasanten Anstieg von KI-Workloads und den Ausbau von Rechenzentren.