Servidor RTX PRO 6000 4x personalizado vs Dell GB300: Decisión para 30 pipelines ajustados

Un post en Reddit en r/LocalLLaMA plantea una decisión real entre dos rutas de servidores de IA on-prem: un servidor CUDA multi-GPU 4U personalizado vs un Dell GB300 (appliance NVIDIA Grace Blackwell). La carga de trabajo es de ~30 pipelines de producción afinados (modelos de 9B-32B, más modelos de visión/razonamiento más grandes) ejecutándose como lotes en cola. La velocidad de inferencia no es la prioridad; el enfoque está en la madurez operativa, la confiabilidad y la preparación para el futuro.

Opción A: Servidor personalizado con 4-8x RTX PRO 6000

• Chasis: 4U con 8 ranuras PCIe Gen 5 x16 (clase Supermicro AS-4125GS-TNRT, GIGABYTE G493-ZB3-AAP1 o ASUS ESC8000A-E13)
• GPUs iniciales: 4x NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 cada una = 384 GB VRAM total
• Máximo futuro: 8 GPUs = 768 GB VRAM
• CPU: Doble AMD EPYC 9354 (32 núcleos cada uno) o 9554 (64 núcleos cada uno), 160 carriles PCIe Gen 5 en total
• RAM: 512 GB DDR5-4800 ECC, expandible a 1.5 TB
• Almacenamiento: 2x 960 GB NVMe RAID 1 de arranque + 4x 7.68 TB U.2 NVMe RAID 10 (~15 TB capa activa)
• Redes: 2x 10 GbE + ConnectX-7 200 GbE + IPMI
• Alimentación: 2 circuitos 208V/30A, ~8-10 kW a plena carga con 8 GPUs
• Costo: Fase A (4 GPUs) ~$64K-$84K; agregar 4 GPUs más + RAM ~$44K-$54K; construcción completa ~$108K-$138K

Fortalezas: Ecosistema CUDA estándar, herramientas maduras (vLLM, TensorRT-LLM, SGLang), mercado de reventa líquido para GPUs, ruta de actualización modular, fácil de contratar personal. Debilidad: La VRAM es por tarjeta; los modelos >96 GB necesitan paralelismo tensor/pipeline entre tarjetas, lo que añade latencia y complejidad.

Opción B: Dell GB300 (Appliance NVIDIA Grace Blackwell)

• Superchip GB300 único: 252 GB HBM3e en GPU Blackwell + 496 GB LPDDR5X en CPU Grace
• Memoria direccionable total: ~748 GB a través de memoria unificada coherente NVLink-C2C
• Software: Ubuntu preintegrado, contrato de soporte Dell

Fortalezas: Grupo de memoria coherente único elimina la necesidad de sharding para modelos grandes (MoE, razonamiento de contexto largo, ajustes finos de parámetros completos de hasta 748 GB). Integrado por el proveedor, menor riesgo de plataforma. Debilidades: Menos modular, ecosistema aún en maduración en comparación con x86 CUDA, mercado de reventa limitado, rendimiento concurrente de múltiples pipelines no optimizado.

Lo que el OP quiere saber

• Mantenimiento continuo, calidad del soporte del proveedor (Dell vs integradores de sistemas como Lambda/Exxact/ThinkMate)
• Estabilidad de los controladores bajo carga, qué falla realmente en el segundo año
• Experiencia real con la gestión de dispositivos y madurez operativa

El post rechaza explícitamente sugerencias de cloud o GPU de consumo (5090). La decisión on-prem está tomada, el presupuesto aprobado. El OP quiere opiniones honestas de personas que han trabajado con este hardware, no de lectores de fichas técnicas.