Кастомный сервер 4x RTX PRO 6000 против Dell GB300: выбор для 30 тонко настроенных пайплайнов
Пост на Reddit в r/LocalLLaMA описывает реальный выбор между двумя путями построения локального AI-сервера: собственный 4U многопроцессорный CUDA-сервер против Dell GB300 (аппаратное решение NVIDIA Grace Blackwell). Нагрузка — ~30 доработанных продакшн-пайплайнов (модели 9B-32B, а также более крупные модели зрения/рассуждения), работающих в очереди пакетов. Скорость инференса не является приоритетом — фокус на эксплуатационной зрелости, надежности и перспективности.
Вариант A: собственный сервер с 4-8x RTX PRO 6000
- Шасси: 4U с 8 слотами PCIe Gen 5 x16 (Supermicro AS-4125GS-TNRT, GIGABYTE G493-ZB3-AAP1 или ASUS ESC8000A-E13)
- GPU на старте: 4x NVIDIA RTX PRO 6000 Blackwell Server Edition, по 96 ГБ GDDR7 = 384 ГБ общей VRAM
- Максимум в будущем: 8x GPU = 768 ГБ VRAM
- CPU: два AMD EPYC 9354 (32 ядра) или 9554 (64 ядра), всего 160 линий PCIe Gen 5
- RAM: 512 ГБ DDR5-4800 ECC, расширяемая до 1.5 ТБ
- Хранилище: 2x 960 ГБ NVMe RAID 1 (система) + 4x 7.68 ТБ U.2 NVMe RAID 10 (~15 ТБ горячий слой)
- Сеть: 2x 10GbE + ConnectX-7 200GbE + IPMI
- Питание: 2 контура 208 В/30 А, ~8-10 кВт при полной нагрузке с 8 GPU
- Стоимость: Фаза A (4 GPU) ~$64K-$84K; добавление 4 GPU + RAM ~$44K-$54K; полная сборка ~$108K-$138K
Сильные стороны: стандартная экосистема CUDA, зрелый инструментарий (vLLM, TensorRT-LLM, SGLang), ликвидный рынок перепродажи GPU, модульное обновление, легко найти персонал. Слабость: VRAM распределена по картам; модели >96 ГБ требуют тензорного/пайплайнового параллелизма между картами, что добавляет задержки и сложность.
Вариант B: Dell GB300 (NVIDIA Grace Blackwell)
- Один суперчип GB300: 252 ГБ HBM3e на Blackwell GPU + 496 ГБ LPDDR5X на Grace CPU
- Общая адресуемая память: ~748 ГБ через когерентную унифицированную память NVLink-C2C
- ПО: предустановленный Ubuntu, контракт поддержки Dell
Сильные стороны: единый когерентный пул памяти устраняет необходимость шардинга для больших моделей (MoE, рассуждения с длинным контекстом, полный fine-tune до 748 ГБ). Интегрированное решение от вендора, меньше платформенных рисков. Слабости: менее модульная система, экосистема еще не дозрела по сравнению с x86 CUDA, слабый рынок перепродажи, пропускная способность при одновременной работе нескольких пайплайнов не оптимизирована.
Что хочет узнать автор поста
- Опыт обслуживания, качество поддержки вендора (Dell против системных интеграторов вроде Lambda/Exxact/ThinkMate)
- Стабильность драйверов под нагрузкой, что реально ломается на второй год
- Реальный опыт управления устройствами и эксплуатационной зрелости
Автор явно отвергает предложения с облаком или потребительскими GPU (5090). Решение о локальном размещении принято, бюджет утвержден. Автор хочет честных отзывов от людей, которые реально работали с этим железом, а не читали спецификации.
📖 Источник: r/LocalLLaMA
👀 Смотрите также
Сократите затраты на токены на 95% с помощью семи техник оптимизации OpenClaw
Подробное руководство, описывающее семь методов снижения потребления токенов AI-агентами на 95%+, включая древовидные загрузочные файлы, автосжатие AI, перенос задач на локальную модель и фоновые задачи CPU по расписанию.
Запуск OmniCoder-9B локально с деталями конфигурации llama.cpp
Разработчик достиг среднего результата 96,7% на HumanEval с моделью OmniCoder-9B на среднем по мощности оборудовании, используя специфичные флаги llama.cpp, включая --reasoning-budget 0 для отключения цепочек рассуждений. Настройка использовала квантованную модель Q6_K, работающую на RTX 3080 с 10 ГБ видеопамяти.
Пользователи OpenClaw Docker: зафиксируйте коммит 0c926a2c5, чтобы исправить неработающие расширения Discord и каналов.
После обновления OpenClaw через Docker расширения каналов, такие как Discord, Signal и WhatsApp, перестают работать с ошибками импорта модулей. Проблема связана с коммитом d9c285e93 и второй ошибкой, специфичной для Docker. Для стабильного обходного решения зафиксируйте коммит 0c926a2c5.
Внедрение системы регулярной медитации для повышения согласованности агента OpenClaw
Разработчик делится структурированной системой рефлексии для агентов OpenClaw, использующей определённую цепочку файлов, включая meditations.md, reflections/*.md и файлы идентичности. Ночной цикл включает просмотр и добавление записей в эти файлы для стимулирования инсайтов, ведущих к устойчивым изменениям поведения.