Macs für lokale LLMs und OpenClaw: Prompt-Verarbeitungsengpass macht Cloud günstiger

Die praktischen Erfahrungen eines Entwicklers mit Macs für lokale LLMs und OpenClaw zeigen, dass die Prompt-Verarbeitung – nicht die Token-Generierungsgeschwindigkeit – der eigentliche Engpass beim Betrieb von KI-Agenten ist. Während Chat-Antworten nahezu sofort wirken können, injizieren Agenten große Kontexte in jeden Prompt, und Mac-Hardware ist bei der Verarbeitung dieser Prompts deutlich langsamer als eine Nvidia-GPU.

Wichtige Erkenntnis

Wenn Sie einen KI-Agenten lokal auf einem Mac nutzen, liegt die gefühlte Verlangsamung nicht an Tokens pro Sekunde, sondern an der Zeit, die für die Verarbeitung des großen Kontextfensters des Agenten vor Beginn der Generierung benötigt wird. Der Autor weist darauf hin, dass ein Mac bei reinen Chat-Anwendungen reaktionsschnell wirken kann, aber bei agentischen Workloads mit großen injizierten Kontexten die Leistungslücke deutlich wird.

Kostenvergleich

Der Autor argumentiert, dass ein günstiges Cloud-Abonnement eines Dienstes wie Deepseek jahrelang genutzt werden kann, bevor es die Kosten eines leistungsfähigen Macs für lokale LLM-Inferenz erreicht. Er kritisiert die merkwürdige Empfehlung, Macs mit OpenClaw zu nutzen, da die Hardware wirtschaftlich nicht mit Cloud-Alternativen konkurrieren kann, es sei denn, Datenschutz ist eine zwingende Anforderung.

Wann lokal sinnvoll ist

Das einzige Szenario, in dem ein Mac als lokaler LLM-Anbieter sinnvoll ist, liegt vor, wenn Informationen aus Datenschutzgründen lokal bleiben müssen. Falls Ihr Anwendungsfall keine lokale Datenhaltung erfordert, empfiehlt der Autor nachdrücklich die Nutzung von Cloud-Modellen – sie bieten bessere Leistung, und Mac-Hardware kann nicht mithalten.