Кастомный сервер 4x RTX PRO 6000 против Dell GB300: выбор для 30 тонко настроенных пайплайнов
Пост на Reddit в r/LocalLLaMA описывает реальный выбор между двумя путями построения локального AI-сервера: собственный 4U многопроцессорный CUDA-сервер против Dell GB300 (аппаратное решение NVIDIA Grace Blackwell). Нагрузка — ~30 доработанных продакшн-пайплайнов (модели 9B-32B, а также более крупные модели зрения/рассуждения), работающих в очереди пакетов. Скорость инференса не является приоритетом — фокус на эксплуатационной зрелости, надежности и перспективности.
Вариант A: собственный сервер с 4-8x RTX PRO 6000
- Шасси: 4U с 8 слотами PCIe Gen 5 x16 (Supermicro AS-4125GS-TNRT, GIGABYTE G493-ZB3-AAP1 или ASUS ESC8000A-E13)
- GPU на старте: 4x NVIDIA RTX PRO 6000 Blackwell Server Edition, по 96 ГБ GDDR7 = 384 ГБ общей VRAM
- Максимум в будущем: 8x GPU = 768 ГБ VRAM
- CPU: два AMD EPYC 9354 (32 ядра) или 9554 (64 ядра), всего 160 линий PCIe Gen 5
- RAM: 512 ГБ DDR5-4800 ECC, расширяемая до 1.5 ТБ
- Хранилище: 2x 960 ГБ NVMe RAID 1 (система) + 4x 7.68 ТБ U.2 NVMe RAID 10 (~15 ТБ горячий слой)
- Сеть: 2x 10GbE + ConnectX-7 200GbE + IPMI
- Питание: 2 контура 208 В/30 А, ~8-10 кВт при полной нагрузке с 8 GPU
- Стоимость: Фаза A (4 GPU) ~$64K-$84K; добавление 4 GPU + RAM ~$44K-$54K; полная сборка ~$108K-$138K
Сильные стороны: стандартная экосистема CUDA, зрелый инструментарий (vLLM, TensorRT-LLM, SGLang), ликвидный рынок перепродажи GPU, модульное обновление, легко найти персонал. Слабость: VRAM распределена по картам; модели >96 ГБ требуют тензорного/пайплайнового параллелизма между картами, что добавляет задержки и сложность.
Вариант B: Dell GB300 (NVIDIA Grace Blackwell)
- Один суперчип GB300: 252 ГБ HBM3e на Blackwell GPU + 496 ГБ LPDDR5X на Grace CPU
- Общая адресуемая память: ~748 ГБ через когерентную унифицированную память NVLink-C2C
- ПО: предустановленный Ubuntu, контракт поддержки Dell
Сильные стороны: единый когерентный пул памяти устраняет необходимость шардинга для больших моделей (MoE, рассуждения с длинным контекстом, полный fine-tune до 748 ГБ). Интегрированное решение от вендора, меньше платформенных рисков. Слабости: менее модульная система, экосистема еще не дозрела по сравнению с x86 CUDA, слабый рынок перепродажи, пропускная способность при одновременной работе нескольких пайплайнов не оптимизирована.
Что хочет узнать автор поста
- Опыт обслуживания, качество поддержки вендора (Dell против системных интеграторов вроде Lambda/Exxact/ThinkMate)
- Стабильность драйверов под нагрузкой, что реально ломается на второй год
- Реальный опыт управления устройствами и эксплуатационной зрелости
Автор явно отвергает предложения с облаком или потребительскими GPU (5090). Решение о локальном размещении принято, бюджет утвержден. Автор хочет честных отзывов от людей, которые реально работали с этим железом, а не читали спецификации.
📖 Источник: r/LocalLLaMA
👀 Смотрите также
Оптимизация Qwen3.5-9B на RTX 3070 Mobile с помощью ik_llama.cpp: Настройки конфигурации и тесты производительности
Разработчик делится результатами оптимизации запуска модели Qwen3.5-9B Q4_K_M на ноутбуке с видеокартой RTX 3070 Mobile 8GB с использованием ik_llama.cpp, достигая скорости генерации ~50 токенов/сек и значительного улучшения оценки промптов за счёт настройки конфигурации.
Запуск Qwen3.6-35B-A3B с ~190k контекстом на 8 ГБ VRAM + 32 ГБ ОЗУ – Настройка и бенчмарки
Пользователь Reddit делится рабочей конфигурацией llama.cpp для моделей Qwen3.6-35B-A3B GGUF на RTX 4060 (8 ГБ VRAM) + 32 ГБ DDR5, достигая 37-51 ток/с при контексте 192k с использованием TurboQuant и специальных флагов.
Ценообразование AI-агентов: уроки продаж OpenClaw малому бизнесу
После месяцев продаж агентов OpenClaw юридическим фирмам и агентам по недвижимости разработчик делится практическими стратегиями ценообразования: посегментная оплата не работает, формулировка «ИИ-сотрудник» выигрывает, а затраты на LLM выставляются отдельно, чтобы избежать потери маржи.
Экономичная настройка мультиагента OpenClaw с использованием моделей подписки
Пользователь Reddit описывает маршрутизацию всех операций мультиагентной системы OpenClaw через существующие подписки Anthropic Pro Max за $200 и ChatGPT OpenAI Codex за $200 вместо прямых вызовов API, используя более дешёвые модели Anthropic для простых агентов и более сложные модели для других задач.