[NVIDIA] AI 인프라 전력·냉각·네트워크 정리

GPU 8개 서버는 한 대가 10~14kW, GB300 NVL72는 랙 하나가 130kW 안팎을 씁니다. 그래서 AI 인프라는 GPU를 고르기 전에 전력, 냉각, 네트워크부터 확인해야 합니다. 공랭 DGX B300은 랙당 4대(50kW 이상)가 NVIDIA 참조 구성이고, NVL72부터는 수냉과 CDU가 필요합니다. GPU 사이 통신은 NVLink와 GPU마다 붙는 800Gb/s NIC으로 만든 Compute Fabric이 맡습니다.

1. 전력

GPU 서버 전력은 GPU 소비 전력의 합보다 큽니다. CPU, NIC, NVLink Switch, 팬, 전원 변환 손실이 더해지기 때문에 전력 계획은 GPU가 아니라 시스템 최대 전력을 기준으로 잡습니다(서버별 사양은 DGX와 HGX 사양 비교에서 다뤘습니다).

 

구분	최대 전력	전원 공급
DGX H100·H200	10.2kW	3.3kW PSU × 6(4+2 이중화)
DGX B300	약 14.5kW	3.2kW PSU × 12 또는 랙 Busbar
GB300 NVL72	랙당 약 130~140kW	랙 Power Shelf에서 DC로 바꿔 Busbar로 공급

 

DGX SuperPOD B300 참조 구성은 DGX B300 4대를 랙 하나에 넣고 랙당 50kW 이상을 잡습니다. 계산하면 4 × 14.5kW = 58kW입니다. 보통 서버 랙이 10kW 안팎으로 설계되는 것을 생각하면, 기존 전산실에 GPU 서버를 들일 때는 랙당 1~2대로 나눠 넣거나 전력 증설부터 검토해야 합니다. SuperPOD B300 참조 구성은 서버마다 PSU를 두는 대신, 랙에 DC Power Shelf를 두고 Busbar로 전원을 나눠 주는 MGX 랙을 씁니다.

2. 냉각

공랭 DGX B300 랙은 CRAH의 찬 공기로, 수냉 GB300 NVL72 랙은 CDU와 시설 냉각수로 열을 빼는 구조

 

방식	대상	특징
공랭	DGX H100~B300	기존 전산실 구조를 그대로 쓰지만 랙 밀도가 낮아 공간을 많이 씀
Rear Door Heat Exchanger	고밀도 공랭 랙	랙 뒷문의 열교환기로 더운 공기를 바로 식힘
Direct-to-Chip 수냉	GB200·GB300 NVL72, Vera Rubin	GPU·CPU 위 Cold Plate로 냉각수를 보내 열을 뺌, CDU 필요

 

CDU(Coolant Distribution Unit)는 랙을 도는 냉각수 루프와 건물의 시설 냉각수 루프 사이에서 열을 넘겨주는 장비입니다. 랙 안에 넣기도 하고, 여러 랙이 함께 쓰는 In-row CDU를 두기도 합니다. Vera Rubin NVL72는 45°C 냉각수로 식힐 수 있게 설계되어, 전력을 많이 쓰는 Chiller 대신 냉각탑 위주로 운영할 여지가 커졌습니다.

3. 네트워크

GPU 클러스터 네트워크는 서버·랙 안에서 GPU를 묶는 Scale-up(NVLink)과 서버 사이를 묶는 Scale-out(Compute Fabric)으로 나뉩니다. 여기에 스토리지와 관리용 네트워크가 따로 붙습니다.

 

구분	연결 대상	기술	속도
NVLink	서버·랙 안 GPU끼리	NVLink 5, NVLink Switch	GPU당 1.8TB/s
Compute Fabric	서버 사이 GPU끼리	Quantum-X800 InfiniBand, Spectrum-X Ethernet	GPU당 800Gb/s
Storage Fabric	서버 ↔ 스토리지	BlueField-3 DPU, InfiniBand 또는 Ethernet	포트당 400Gb/s
In-band 관리	클러스터 서비스, 사용자 접속	Ethernet	200Gb/s
Out-of-band 관리	BMC, 스위치 관리 포트	Ethernet	1Gb/s

 

Compute Fabric은 Rail-optimized 구조로 구성합니다. 모든 서버의 1번 GPU NIC은 1번 Leaf 스위치에, 2번 GPU NIC은 2번 Leaf 스위치에 연결하는 방식이라, 같은 번호 GPU끼리 주고받는 AllReduce 트래픽이 Leaf 스위치 한 단계 안에서 끝납니다. DGX SuperPOD B300은 DGX B300 64대(GPU 512개)를 1 SU(Scalable Unit)로 묶고, SU를 늘려 확장합니다.

4. 직접 확인해 보기

운영 중에는 GPU별 전력과 온도, InfiniBand 포트 상태를 주기적으로 확인합니다.

# GPU별 전력, 온도, 사용률을 1초마다 확인
nvidia-smi --query-gpu=index,power.draw,temperature.gpu,utilization.gpu \
  --format=csv -l 1

# DCGM으로 전력(155), 온도(150), 사용률(203) 모니터링
dcgmi dmon -e 155,150,203

# InfiniBand 포트 상태와 속도
ibstat | grep -E "CA '|State|Rate"

ibstat에서 State가 Active가 아니거나 Rate가 기대한 속도보다 낮은 포트가 있으면, 해당 GPU의 통신이 느려져 전체 학습 속도가 떨어집니다. 저는 이런 값을 DCGM Exporter로 Prometheus에 모아 랙별 전력 합계와 함께 보는 구성을 권합니다.

5. 도입 시 주의점

항목	조치
랙 전력	서버 최대 전력 기준으로 PDU와 차단기를 잡고, 전원 이중화까지 포함해 계산합니다.
바닥 하중	DGX B300 한 대가 최대 168kg이고 NVL72 랙은 훨씬 무거우므로 바닥 하중을 확인합니다.
냉각 방식	NVL72부터는 수냉이 필수이므로 CDU 위치, 배관, 냉각수 온도 조건을 먼저 확인합니다.
케이블	GPU마다 800Gb/s 케이블이 필요해 SU 4개(DGX 256대)만 해도 서버-Leaf 케이블이 2,048개입니다.

6. 정리

• 전력은 시스템 최대 전력 기준으로 잡고, DGX B300은 랙당 4대에 50kW 이상이 참조 구성입니다.
• 공랭은 DGX B300까지, GB200·GB300 NVL72부터는 Direct-to-Chip 수냉과 CDU가 필요합니다.
• 네트워크는 NVLink, Compute Fabric, Storage Fabric, In-band·Out-of-band 관리로 나눠 설계합니다.

참고

• NVIDIA Docs - DGX B300 소개
• NVIDIA Docs - DGX SuperPOD B300 아키텍처
• NVIDIA Docs - DGX SuperPOD B300 구성 요소