概览门户售前手册L1 芯片时间线L2 机柜解剖设施参考设计文献L3 光电与CPOL4 电力与液冷L5 预制 POD术语表配比模拟器GTC 档案馆生态穿透演进日志
Facility Design Reference · GB300 and HGX B300

GB300 / B300 数据中心设施参考

B300 是 Blackwell Ultra 这颗 GPU。它有两种完全不同的落点:HGX B300 服务器,和 GB300 NVL72 整柜。基础设施只为其中一种出图。下面的数字都标注了出处。OEM 铭牌和参考设计 PDF 仍是合同依据,本页用来建立数量级和界面。

做 GB300 机房时,电气按交流进线和最高约 142 kW 的整柜铭牌。8 个 33 kW 电源层是柜内冗余,不是 264 kW 的报装容量。液冷接住大约九成热量,房间里仍要留风冷。800V 不属于这一版图纸。组网和厅级原文见设计文献 · 发布背景见 GTC 档案
HGX B300 服务器
节点设计

8 颗 B300 在一块 HGX 底板上,NVLink 域停在这一台服务器里。主机是 Intel 或 AMD 的 CPU,不是 Grace。适合已有风冷或只想做单节点冷板的机房,也适合和 NVL72 混部时的推理或较小训练域。

GPU8 × B300,每颗 288GB HBM3e
互联第五代 NVLink,GPU 之间约 1.8 TB/s;对外常见 8 条 ConnectX-8,每条最高 800 Gb/s
形态超微同时提供 8U 风冷和 4U 冷板。风冷节点最大功耗 15 kW,满载散热约 50,000 BTU/h
电源节点自带冗余 CRPS。超微 8U 规格为 6 个 6600W 钛金电源,4U 液冷规格为 4 个 6600W
成柜示例超微一种 AI Factory 组合是每柜 4 个 8 卡节点、32 颗 GPU,整柜 60 kW
机房含义60 kW 风冷柜需要封闭通道或后门换热。4U 冷板节点才需要 CDU。不要按 NVL72 的八路 60A 进线来配
GB300 NVL72 整柜
厅级设计的基本单位

72 颗 B300 和 36 颗 Grace 在一个 MGX 机柜里组成一个 NVLink 域。设施要接的是整柜铭牌、八路交流进线、液冷歧管,以及仍然存在的那一小部分风冷热量。

构成18 个计算托盘 × 4 GPU,加 9 个 NVSwitch 托盘。托盘内还有 ConnectX-8
NVIDIA 功率上限企业参考架构:整柜最高 142 kW。8 个 33 kW 电源层,每层 6 个 5.5 kW 模块
Lenovo 运行值135 kW TDP,峰值最高约 155 kW,视负载和 EDP 而定
散热比例Lenovo:约 90% 进液体,10% 留在空气。GPU、CPU、HBM、NVSwitch、ConnectX 上冷板;光模块、硬盘和电源分配板上的部分器件仍靠风
进水Lenovo:实际应用进水可到 45°C,交换托盘按 ASHRAE W45。二次侧可选去离子水或 25% 丙二醇
柜内母排Lenovo:电源层输出 50 V 直流。母排电流额定 1400 A 是柜内导体规格,不是楼内要新建的电流

先选定购买形态

客户说“上 B300”时,先写成两行:HGX 节点,还是 GB300 NVL72。8 卡服务器的 15 kW 和整柜的 142 kW 不能取平均,也不能放进同一套 CDU 和同一条母线槽的算法里。

NVL72 的 NVLink 域就是这 72 颗 GPU。模型如果必须留在一个域里,就按整柜的倍数采购,余数不要用 HGX 节点去“补满”同一个 NVLink 域。HGX 节点用柜间网络和其他域相连,那是 Scale-out,不是把域补齐。

电气:报铭牌,不报电源层容量之和

GB300 NVL72 的设施进线仍是交流。Lenovo 的电源层输入是 200–277 V,星形系统写到 346–480 V,每个电源层一条 60 A 级 IEC 60309 进线。西门子的 GB200 参考给每台计算柜 8 路 60 A,这个回路数可以直接当作 GB300 的默认图纸,再按所购 BOM 删减。常见系统电压是 415 V 或 480 V 三相。

8 个 33 kW 电源层的算术和是 264 kW。这不是设施负荷。超微对 GB200 的写法是 8 个电源层、总功率 132 kW、运行 125–135 kW,对应 4+4 冗余:只有一半电源层承担额定输出。GB300 的 NVIDIA 文档仍是 8 个 33 kW 电源层,但整柜上限写成 142 kW。上游变压器、母线槽和 UPS 按整柜铭牌报:NVIDIA 参考用 142 kW,若合同机型是 Lenovo,再核对 135 kW TDP 和最高约 155 kW 峰值。不要报 264 kW。

柜内母排大约 50 V 直流。上一份 GB200 材料常把这一档写成 48 V 或 54 V。设施工程师要听到的是:大楼送到机柜的是交流,50 V 只存在于柜内。不需要为 GB300 建设 50 V 或 800 V 电站。

GB300 新增的是功率平滑:电源层里的储能、功率上限和 GPU 侧机制一起,把训练时的功率尖峰削平。NVIDIA 的博客讨论的是机柜自己如何稳住从电网看到的功率。它不能代替上游的短路容量、谐波和峰值测量。施耐德 2025 年 9 月的控制参考专门要求测量机柜峰值和电能质量,并用 MQTT 把配电和液冷数据送给 NVIDIA Mission Control。

液冷:90% 进水,10% 仍然要风

Lenovo 写明 GB300 NVL72 是混合散热。CPU、GPU、显存、NVSwitch 和 ConnectX 走冷板,光模块、硬盘、电源分配板上的一部分器件和带外管理仍靠柜内风扇。整柜大约九成热量进液体,一成留在空气。只设计 CDU、不留房间级空调或后门换热,风侧会先碰到温度上限。

回路分两侧。二次侧是受控冷却液,从 CDU 到柜后歧管,再经无滴漏快速接头进入托盘冷板。一次侧是楼宇冷冻水、冷却水或干冷器。两侧用板换隔开。Lenovo 允许去离子水或 25% 丙二醇,机柜可以不带水出厂,现场灌注。不要把未处理的冷冻水直接灌进冷板。

进水温度按温水设计。Lenovo 写实际应用可到 45°C,交换托盘的水温规格是 2–50°C、ASHRAE W45。NVIDIA 对后续 MGX 机柜也把 45°C 进液写成目标。二次侧如果按这个上限选型,干冷器在很多气候下可以承担大部分小时数,冷水机组变成高峰和冗余,而不是全年基荷。施耐德的 GB300 厅级参考同时给了液-液 CDU 和高温冷机或带绝热的流体冷却器,两种热沉都要在方案里留位置。

流量只用纯水做数量级。液体侧按 142 kW 的 90% 即约 128 kW,温差 10°C 时,流量约等于 128 × 14.3 ÷ 10 ≈ 183 L/min·柜。25% 丙二醇比热更低,流量要放大,放大系数用 CDU 厂家的流体表。这个 183 不是泵的订货值,也没有包含 N+1。

怎样把参考设计收成一厅

一个 1,152 GPU 的 GB300 集群等于 1,152 ÷ 72 = 16 台 NVL72。按 NVIDIA 的 142 kW 上限,计算柜合计 2,272 kW。这只是计算柜。网络柜、存储柜、带外管理、CDU 风扇和泵、房间空调都在这之外。

施耐德 Reference Design 111 把三个这样的集群放进一个厅:3 × 1,152 GPU,单柜最高 142 kW,厅级设计容量 7,536 kW,Tier III、ANSI、冷冻水,用液-液 CDU。48 台计算柜乘 142 kW 是 6,816 kW,低于 7,536 kW。差额是支持设备和他们的冗余算法,不是可以忽略的误差。报方案时同时写出“计算柜上限”和“厅级设计容量”,并注明 7,536 kW 来自参考设计封面,平面、UPS 模块和 CDU 台数以 PDF 为准。

Vertiv 2024 年的 7 MW 参考是 GB200 的母版,仍然值得照着画界面:6 个 SuperPOD、IT 负荷 6,912 kW、每个 POD 1,152 kW、每 POD 8 台计算柜,配电按 4 保 3,冷却 N+1,每 POD 有房间级 CRAH。GB300 单柜从大约 132 kW 升到 142 kW 以后,同样的 8 柜 POD 会从大约 1.1 MW 升到大约 1.14 MW 的计算柜负荷,母线、CDU 和冷机都要按新铭牌重算,不能只改封面型号。

西门子的参考把 GB200 的液冷架构直接延伸到 GB300:同一组 CDU 可继续用,需要余量时再加一台,而不改管路拓扑。这适合已经按 GB200 建到一半的机房。加机之前仍要核对 GB300 的峰值和 90/10 热量分裂,不能假设热负荷完全不变。

这套设计停在哪里

GB300 方案的边界是:交流进线、柜内约 50 V、冷板加 CDU、温水最高约 45°C、风侧保留大约一成热量。800V 高压直流、Kyber 单柜 144 卡、Rubin Ultra 的八柜 576 卡域,都不是这张图上的设备。

Vera Rubin NVL72 如果沿用第三代 MGX 和 45°C 温水,现有液冷接口有机会复用。电气容量要等该代铭牌,不能用 142 kW 自动延续。GTC 2026 公布的另外四种机柜,CPU 柜、推理柜、存储柜和以太网柜,功率和散热都另案,不能乘以 GPU 数量。

出图前的十个确认

  1. 合同写的是 HGX B300 节点,还是 GB300 NVL72 整柜?OEM 是谁?
  2. 整柜采用 NVIDIA 142 kW 上限,还是该 OEM 的 TDP 和峰值?峰值是否包含功率平滑之后的电网侧读数?
  3. 电源层是 6 个还是 8 个?每层进线电流、电压和插头型号?
  4. 母线槽、UPS 和冷机的冗余是 Tier III 可维护,还是 4 保 3?CDU 泵是否独立进线?
  5. 二次侧用去离子水还是 25% 丙二醇?允许的最高进水温度和 ΔT?
  6. 一次侧是冷冻水、冷却塔还是干冷器?45°C 进液时全年有多少小时需要压缩机?
  7. 风侧那大约 10% 由哪台空调或后门换热器承担?
  8. 网络柜、存储柜和带外管理的功率是否已经加进厅级容量,而不是藏在 142 kW 里?
  9. 漏液之后的动作,以及托盘备件比例。Lenovo 建议现场备件至少按产量的 2% 估算,实际数量随规模变。
  10. 2027 年的中压和管廊预留是否被写成了本批的 800V 设备?

出处

← 机柜解剖 液冷阶梯与踏勘问题 →