M5 Max vs. M3 Max Inferenz-Benchmarks für Qwen-Modelle auf oMLX
Der Reddit-Nutzer /u/onil_gova führte Inferenz-Benchmarks durch, die 16-Zoll MacBook Pros mit M5 Max- und M3 Max-Prozessoren verglichen, beide mit 40 GPU-Kernen und 128 GB Unified Memory ausgestattet. Die Tests verwendeten oMLX v0.2.23 und drei Qwen 3.5-Modelle: das 122B-A10B MoE, 35B-A3B MoE und 27B dense.
Benchmark-Ergebnisse
Bei pp1024/tg128 (Prompt-Verarbeitungslänge 1024, Token-Generierungslänge 128) zeigte der M5 Max signifikante Geschwindigkeitsverbesserungen:
- 35B-A3B MoE: 134,5 vs. 80,3 tg tok/s (1,7-mal schneller)
- 122B-A10B MoE: 65,3 vs. 46,1 tg tok/s (1,4-mal schneller)
- 27B dense: 32,8 vs. 23,0 tg tok/s (1,4-mal schneller)
Die Leistungslücke vergrößert sich mit längeren Kontexten. Bei einer Kontextlänge von 65K sank das 27B dense-Modell auf 6,8 tg tok/s beim M3 Max gegenüber 19,6 tg tok/s beim M5 Max (2,9-facher Unterschied).
Prefill- und Batching-Leistung
Die Prefill-Vorteile waren noch größer und erreichten beim M5 Max bei langen Kontextlängen bis zu 4-mal schnellere Werte, was auf die GPU Neural Accelerators des M5 Max zurückgeführt wird.
Die Batching-Leistung zeigte wichtige Unterschiede für agentische Workloads:
- M5 Max skalierte auf den 2,54-fachen Durchsatz bei 4-facher Batch-Größe beim 35B-A3B-Modell
- M3 Max Batching bei dense-Modellen verschlechterte die Leistung (0,80-fach bei 2-facher Batch-Größe beim 122B-Modell)
Der Bandbreitenunterschied (614 GB/s beim M5 Max vs. 400 GB/s beim M3 Max) ist signifikant für mehrstufige Agenten-Schleifen oder parallele Tool-Aufrufe.
MoE-Effizienz-Erkenntnisse
Die Benchmarks zeigten, dass das 122B-Modell (mit 10B aktiven Parametern) auf beiden Maschinen schneller generiert als das 27B dense-Modell. Dies zeigt, dass die Anzahl der aktiven Parameter die Inferenzgeschwindigkeit bestimmt, nicht die Gesamtmodellgröße.
Die vollständige interaktive Aufschlüsselung mit allen Diagrammen und Daten ist verfügbar unter: https://claude.ai/public/artifacts/c9fba245-e734-4b3b-be44-a6cabdec6f8f
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Claude Opus 5.5: 40 % günstiger als Opus 5, 66,4 % auf Terminal-Bench 4.0
Anthropics Opus 5.5 führt Terminal-Bench 4.0 mit 66,4 % an und sinkt auf 4/20 $ pro Million Token – Cache-Lesevorgänge fallen um 60 % auf 0,20 $/M. Die Ausgabe ist 30 % schneller und die 5-Stunden-Limits bei Pro/Max/Team steigen.
Handelsstrategie-Benchmark: Günstigere KI-Modelle übertreffen Claude Opus 4.6
Ein Benchmark testete 10 LLMs auf die Entwicklung von Handelsstrategien, wobei günstigere Modelle wie Minimax 2.5 und Gemini 3.1 trotz ihrer 10-fach höheren Kosten Claude Opus 4.6 übertrafen. Das Experiment wurde dreimal mit konsistenten Ergebnissen durchgeführt.
Gen Zs KI-Rückschlag: Nutzung fördert Skepsis, nicht Akzeptanz
Umfragen zeigen, dass die Generation Z KI-Tools nutzt, aber die KI-zentrierte Zukunft ablehnt. Viele vermeiden KI komplett oder deaktivieren Funktionen, aus Angst um Arbeitsplätze, Umweltbedenken und sozialen Auswirkungen.
OpenClaw v2026.10.4 Patch-Release behebt Fehler bei der Aktualisierungswiederherstellung, der Chat-Aktualisierung und der Anmeldung
OpenClaw v2026.10.4 ist ein Patch-Release, das auf Update-Wiederherstellung, Chats, die bei „Server updated“ hängen bleiben, Messaging-Fehler bei Telegram und IRC sowie MCP-Anmeldung nach Browser-Zustimmung abzielt.