Usuario de Reddit informa 18.8 tok/s en inferencia por CPU con Qwen 3 30B Q4 en Zen 4.

Un usuario de Reddit compartió su experiencia probando la inferencia de LLM local en CPU en lugar de invertir en costoso hardware de GPU.

Detalles Clave

El usuario estaba considerando comprar hardware de GPU para inferencia local de LLM, incluyendo:

• GPUs P40
• GPUs V100 (casi compró una versión SXM2 que no se conecta a placas madre normales)
• RTX 3090 (con precios de $800+ debido a la demanda de IA)

Después de que le aconsejaron probar primero la inferencia en CPU, probó:

• Modelo: Qwen 3 30B Q4
• Hardware: Procesador Zen 4 con memoria DDR5
• Rendimiento: 18.8 tokens por segundo en CPU
• Expectativa vs Realidad: Esperaba 3-5 tok/s, obtuvo casi 19 tok/s

El usuario señaló que "Zen 4 + DDR5 es increíble para inferencia".

Resultados de Pruebas Prácticas

El usuario realizó una comparación de tareas de programación reales:

• Un modelo de 8B "escribió código completamente incorrecto con confianza"
• El modelo de 30B "lo hizo perfecto al primer intento"
• Describieron el rendimiento del modelo de 30B como "básicamente nivel GPT-4o por $0"

Esto sugiere que para ciertas tareas de programación, un modelo de 30B correctamente cuantizado ejecutándose en hardware moderno de CPU puede proporcionar resultados comparables a modelos más grandes basados en la nube, sin la inversión en hardware típicamente asociada con la inferencia local de LLM.