Macs para LLM local y OpenClaw: El cuello de botella en el procesamiento de prompts hace que la nube sea más barata

La experiencia práctica de un desarrollador con Macs para LLMs locales y OpenClaw revela que el procesamiento de prompts —no la velocidad de generación de tokens— es el verdadero cuello de botella al ejecutar agentes de IA. Mientras que las respuestas de chat pueden sentirse casi instantáneas, los agentes inyectan grandes contextos en cada prompt, y el hardware de Mac es significativamente más lento procesando esos prompts en comparación con una GPU Nvidia.

Conclusión clave

Si estás usando un agente de IA localmente en una Mac, la lentitud que sientes no es tokens/segundo, sino el tiempo dedicado a procesar la gran ventana de contexto del agente antes de que comience la generación. El autor señala que para aplicaciones de chat puras, una Mac puede sentirse receptiva, pero para cargas de trabajo de agentes con grandes contextos inyectados, la brecha de rendimiento se abre.

Comparación de costos

El autor argumenta que una suscripción barata en la nube a un servicio como Deepseek se puede usar durante años antes de alcanzar el costo de una Mac capaz para inferencia local de LLM. Señala la rareza de la recomendación común de usar Macs con OpenClaw, dado que el hardware no compite económicamente con las alternativas en la nube a menos que la privacidad sea un requisito estricto.

Cuándo tiene sentido lo local

El único escenario en el que una Mac tiene sentido como proveedor local de LLM es cuando la información debe permanecer local debido a preocupaciones de privacidad. Si tu caso de uso no requiere que los datos permanezcan en el dispositivo, el autor recomienda encarecidamente usar modelos en la nube: funcionan mejor y el hardware de Mac no puede mantener el ritmo.