Руководство по созданию домашней лаборатории на V100 SXM2 NVLink: Сборка системы с 64 ГБ объединённой видеопамяти примерно за 1100 долларов.

Что это такое

Подробный справочный документ по созданию локальной лаборатории для вывода LLM с использованием графических процессоров NVIDIA V100 SXM2. Руководство сосредоточено на достижении экономически эффективного объединения GPU с высокой пропускной способностью с помощью обратно спроектированного оборудования NVLink.

Ключевое оборудование: плата 1CATai TECH

Основным компонентом является пользовательская плата-адаптер для четырёх GPU от китайской компании 1CATai TECH (一猫之下科技). Плата модели TAQ-SXM2-4P5A5 реализует сигнализацию NVLink 2.0 от NVIDIA для создания настоящей сетки NVLink между четырьмя модулями V100 SXM2. Это обеспечивает примерно 300 ГБ/с двунаправленного соединения на пару, что позволяет эффективно использовать тензорный параллелизм.

Полная установка с четырьмя платами, 4 модулями V100 SXM2 16 ГБ, картой ввода-вывода PLX8749, кабелями и системой охлаждения обойдётся примерно в $1000–1200, что даст 64 ГБ объединённой через NVLink видеопамяти. Отдельные модули V100 16 ГБ в настоящее время стоят $56–99 каждый.

Чем это не является: распространённые заблуждения

• Это не «один большой GPU». nvidia-smi показывает четыре отдельных GPU.
• NVLink делает тензорный параллелизм достаточно быстрым, чтобы он ощущался как единое целое, но требует программного обеспечения с поддержкой TP (vLLM, llama.cpp, Ollama — все работают).
• Это не автоматически объединённая память. Две платы — это два отдельных островка NVLink, соединённые через PCIe, что создаёт 20-кратный обрыв пропускной способности между платами.
• У Supermicro AOM-SXM2 НЕТ NVLink — это просто плата-носитель.
• Цифра ~900 ГБ/с — это пропускная способность HBM2 на карту, а не NVLink. Пропускная способность NVLink 2.0 составляет ~300 ГБ/с двунаправленной на пару.

Почему именно V100 SXM2

• 900 ГБ/с пропускной способности HBM2 на карту с NVLink 2.0 в форм-факторе SXM2.
• Модули физически идентичны на разных платформах (Supermicro 4029GP-TVRT, Inspur NF5288M5, Dell C4140, DGX-2).
• Списания суперкомпьютеров (Summit, Sierra) наводнили вторичный рынок, снизив цены.

Преимущество моделей MoE

В то время как плотные модели на 70B в Q4 могут работать со скоростью 20–30 токенов/с на одной плате, модели типа Mixture of Experts (MoE), такие как DeepSeek V3.2 (~685B всего, ~37B активных на токен), отделяют требования к хранению от пропускной способности вывода. V100 с огромной пропускной способностью HBM2 и пулами NVLink идеально подходят для этой архитектуры.

Обнаружение сервера на 120 В

Supermicro 4029GP-TVRT — это 8-канальный сервер V100 SXM2 с полной сеткой куба NVLink (та же топология, что и у DGX-1). Он имеет блоки питания с широким диапазоном входного напряжения 100–240 В и поставляется со стандартными американскими вилками. При 120 В блоки питания снижают мощность до ~1100 Вт каждый. При ограничении мощности V100 до 150 Вт через nvidia-smi общее потребление системы составляет ~1700 Вт при доступной мощности ~4400 Вт — это управляемо на двух стандартных цепях 15 А. Это обеспечивает 128 ГБ 8-канальной видеопамяти NVLink в бытовой электросети. Б/у устройства (8x V100 32 ГБ, два Xeon Gold, 128 ГБ ОЗУ) находили на eBay дешевле $1000.

Информация о поиске

Эти платы поставляются только из Китая. Четырёхканальная плата стоит ~$400 через агентов по покупкам на Taobao (Superbuy, CSSBuy) или ~$700–800 у американских перепродавцов на eBay.