Заголовок: Macs для локальных LLM и OpenClaw: узкое место в обработке запросов делает облако дешевле

Практический опыт одного разработчика по использованию Mac для локальных LLM и OpenClaw показывает, что узким местом при запуске AI-агентов является обработка промптов, а не скорость генерации токенов. Хотя ответы в чате могут казаться почти мгновенными, агенты добавляют в каждый промпт большие контексты, и Mac значительно медленнее обрабатывает такие промпты по сравнению с Nvidia GPU.

Главный вывод

Если вы используете AI-агента локально на Mac, замедление, которое вы ощущаете, связано не с количеством токенов в секунду, а со временем обработки большого контекстного окна агента до начала генерации. Автор отмечает, что для чистого чата Mac может быть отзывчивым, но для агентской нагрузки с большими встроенными контекстами разрыв в производительности становится заметным.

Сравнение стоимости

Автор утверждает, что дешевая облачная подписка на сервис вроде Deepseek может использоваться годами, прежде чем достигнет стоимости подходящего Mac для локального вывода LLM. Он указывает на странность распространенной рекомендации использовать Mac с OpenClaw, учитывая, что это оборудование экономически не конкурирует с облачными альтернативами, если только конфиденциальность не является строгим требованием.

Когда локальный запуск имеет смысл

Единственный сценарий, при котором Mac имеет смысл как локальный провайдер LLM, — это когда информация должна оставаться локальной из соображений конфиденциальности. Если ваш вариант использования не требует хранения данных на устройстве, автор настоятельно рекомендует использовать облачные модели — они работают лучше, и оборудование Mac не поспевает за ними.