맞춤형 4x RTX PRO 6000 서버 vs Dell GB300: 30개 미세 조정 파이프라인을 위한 결정

r/LocalLLaMA의 Reddit 게시물에서 두 가지 온프레미스 AI 서버 경로 중 실제 결정 사항을 제시합니다: 커스텀 4U 멀티 GPU CUDA 서버와 Dell GB300(NVIDIA Grace Blackwell 어플라이언스)입니다. 워크로드는 약 30개의 미세 조정된 프로덕션 파이프라인(9B-32B 모델, 추가로 더 큰 비전/추론 모델)이 큐에 대기 중인 배치로 실행됩니다. 추론 속도는 우선순위가 아니며, 운영 성숙도, 안정성, 미래 대비에 중점을 둡니다.

옵션 A: 커스텀 4-8x RTX PRO 6000 서버

• 섀시: 8개의 PCIe Gen 5 x16 슬롯이 있는 4U (Supermicro AS-4125GS-TNRT, GIGABYTE G493-ZB3-AAP1, 또는 ASUS ESC8000A-E13 클래스)
• 초기 GPU: NVIDIA RTX PRO 6000 Blackwell Server Edition 4개, 각 96GB GDDR7 = 총 384GB VRAM
• 최대 확장: GPU 8개 = 768GB VRAM
• CPU: 듀얼 AMD EPYC 9354 (각 32코어) 또는 9554 (각 64코어), 총 160개의 PCIe Gen 5 레인
• RAM: 512GB DDR5-4800 ECC, 1.5TB까지 확장 가능
• 스토리지: 2x 960GB NVMe RAID 1 부팅 + 4x 7.68TB U.2 NVMe RAID 10 (~15TB 핫 티어)
• 네트워킹: 2x 10GbE + ConnectX-7 200GbE + IPMI
• 전원: 2x 208V/30A 회로, GPU 8개 시 최대 부하 약 8-10kW
• 비용: 1단계(GPU 4개) 약 $64K-$84K; GPU 4개 추가 + RAM 약 $44K-$54K; 전체 구축 약 $108K-$138K

강점: 표준 CUDA 생태계, 성숙한 도구(vLLM, TensorRT-LLM, SGLang), GPU 중고 시장 유동성, 모듈식 업그레이드 경로, 인력 확보 용이. 약점: VRAM이 카드별로 제공됨; 96GB 이상 모델은 텐서/파이프라인 병렬 처리가 필요하여 지연 시간과 복잡성 증가.

옵션 B: Dell GB300 (NVIDIA Grace Blackwell 어플라이언스)

• 단일 GB300 슈퍼칩: Blackwell GPU에 252GB HBM3e + Grace CPU에 496GB LPDDR5X
• 총 주소 가능 메모리: NVLink-C2C 일관된 통합 메모리를 통해 약 748GB
• 소프트웨어: 사전 통합 Ubuntu, Dell 지원 계약

강점: 단일 일관된 메모리 풀로 대형 모델(MoE, 장문맥 추론, 최대 748GB 전체 파라미터 미세 조정)에 샤딩 불필요. 벤더 통합, 플랫폼 리스크 감소. 약점: 모듈성 낮음, x86 CUDA에 비해 생태계 성숙 중, 중고 시장 협소, 동시 다중 파이프라인 처리량 최적화 부족.

OP가 의견을 구하는 사항

• 지속적인 유지보수, 벤더 지원 품질(Dell vs Lambda/Exxact/ThinkMate 같은 시스템 통합업체)
• 부하 상태에서의 드라이버 안정성, 2년차에 실제로 고장나는 부분
• 디바이스 관리 및 운영 성숙도에 대한 실제 경험

게시물은 클라우드나 소비자용 GPU(5090) 제안을 명시적으로 거부합니다. 온프레미스 결정은 확정되었고 예산도 승인되었습니다. OP는 사양표만 읽은 사람이 아닌 이 하드웨어를 실제로 사용해 본 사람들의 솔직한 의견을 원합니다.