RTX 5000 PRO 48GB ofrece 4400 tok/s de almacenamiento en caché de precisión para Qwen3.6-27B

Un desarrollador se la jugó con la RTX 5000 Pro 48GB ($4300 impuestos incluidos) frente a una Mac Studio, y los números justifican el salto: hasta 4400 tokens/segundo en procesamiento de prompt (PP) y 50–80 tok/s en generación de texto (TG) con Qwen3.6-27B-FP8 y un caché KV de precisión completa BF16.

Desglose de hardware y costos

• Costo de la GPU: $4300 (impuestos incluidos)
• Costo total del equipo: $5600 con 64 GB de RAM
• Límite de contexto: 200K tokens a precisión completa (caché KV BF16)

Puntos de referencia de rendimiento

• Procesamiento de prompt: 4400 tok/s
• Generación de texto: 50–60 tok/s para prompts muy grandes, hasta 80 tok/s para prompts más pequeños
• Modelo: Qwen3.6-27B-FP8 con caché de precisión completa
• Consumo de energía: Aproximadamente la mitad de una configuración con dos RTX 5090

Observaciones clave

El usuario armó la PC sin experiencia previa, apoyándose en Claude Code (gastando el 50% de los límites semanales de Claude Code Max en la configuración de vLLM/Linux). Una publicación en Reddit con los ajustes exactos de vLLM para Qwen3.6-27B-FP8 con caché BF16 fue la referencia principal. El autor señala que dos RTX 5090 rendirían mejor, pero con un costo, ruido y consumo de energía significativamente mayores.