1nfratech1nfra Tech

GPU 클러스터는 GPU → 노드(서버) → 랙 → SU → 클러스터 순서로 커집니다. 1편은 GPU에서 랙까지를 다룹니다. 서버 안의 GPU 8개는 NVLink라는 전용 고속 도로로 한 방향 900GB/s로 이어지지만, 서버 밖으로는 GPU마다 붙은 800Gb/s(100GB/s) 네트워크 카드로 나가서 속도가 9배 차이 납니다. 이 차이가 클러스터 설계의 출발점입니다.1. 전체 단계NVIDIA 권장 구성(DGX SuperPOD B300)을 기준으로 GPU 한 개가 수천 개짜리 클러스터가 되는 과정을 두 편에 나눠 정리합니다. 1편은 NVLink로 묶이는 구간(Scale-up, GPU → 노드 → 랙)이고, 2편은 네트워크로 묶이는 구간(Scale-out, SU → 클러스터)입니다. 제품별 사양은 DGX..

HGX는 GPU 8개를 고속 연결 장치(NVLink Switch)와 함께 보드 하나에 올린 부품이고, DGX는 NVIDIA가 그 보드로 직접 만든 완성품 서버입니다. 같은 세대면 GPU 성능은 같고, 누가 서버를 만들고 지원하느냐가 다릅니다. GB300 NVL72부터는 GPU 72개를 한 덩어리로 묶어서 서버가 아니라 랙 하나가 한 단위가 됩니다.1. DGX, HGX, NVL72 구분AI GPU 자료를 보면 H100, HGX H100, DGX H100처럼 이름은 비슷한데 앞머리만 다른 제품이 계속 나옵니다. 컴퓨터 부품으로 비유하면 GPU는 그래픽 칩, HGX는 칩 8개를 올려 둔 메인보드, DGX는 그 메인보드로 조립한 완성품 PC, NVL72는 여러 대를 한 몸처럼 묶은 랙입니다. GPU 자체의 구조..