8 颗 B300 在一块 HGX 底板上,NVLink 域停在这一台服务器里。主机是 Intel 或 AMD 的 CPU,不是 Grace。适合已有风冷或只想做单节点冷板的机房,也适合和 NVL72 混部时的推理或较小训练域。
GB300 / B300 数据中心设施参考
B300 是 Blackwell Ultra 这颗 GPU。它有两种完全不同的落点:HGX B300 服务器,和 GB300 NVL72 整柜。基础设施只为其中一种出图。下面的数字都标注了出处。OEM 铭牌和参考设计 PDF 仍是合同依据,本页用来建立数量级和界面。
72 颗 B300 和 36 颗 Grace 在一个 MGX 机柜里组成一个 NVLink 域。设施要接的是整柜铭牌、八路交流进线、液冷歧管,以及仍然存在的那一小部分风冷热量。
先选定购买形态
客户说“上 B300”时,先写成两行:HGX 节点,还是 GB300 NVL72。8 卡服务器的 15 kW 和整柜的 142 kW 不能取平均,也不能放进同一套 CDU 和同一条母线槽的算法里。
NVL72 的 NVLink 域就是这 72 颗 GPU。模型如果必须留在一个域里,就按整柜的倍数采购,余数不要用 HGX 节点去“补满”同一个 NVLink 域。HGX 节点用柜间网络和其他域相连,那是 Scale-out,不是把域补齐。
电气:报铭牌,不报电源层容量之和
GB300 NVL72 的设施进线仍是交流。Lenovo 的电源层输入是 200–277 V,星形系统写到 346–480 V,每个电源层一条 60 A 级 IEC 60309 进线。西门子的 GB200 参考给每台计算柜 8 路 60 A,这个回路数可以直接当作 GB300 的默认图纸,再按所购 BOM 删减。常见系统电压是 415 V 或 480 V 三相。
8 个 33 kW 电源层的算术和是 264 kW。这不是设施负荷。超微对 GB200 的写法是 8 个电源层、总功率 132 kW、运行 125–135 kW,对应 4+4 冗余:只有一半电源层承担额定输出。GB300 的 NVIDIA 文档仍是 8 个 33 kW 电源层,但整柜上限写成 142 kW。上游变压器、母线槽和 UPS 按整柜铭牌报:NVIDIA 参考用 142 kW,若合同机型是 Lenovo,再核对 135 kW TDP 和最高约 155 kW 峰值。不要报 264 kW。
柜内母排大约 50 V 直流。上一份 GB200 材料常把这一档写成 48 V 或 54 V。设施工程师要听到的是:大楼送到机柜的是交流,50 V 只存在于柜内。不需要为 GB300 建设 50 V 或 800 V 电站。
GB300 新增的是功率平滑:电源层里的储能、功率上限和 GPU 侧机制一起,把训练时的功率尖峰削平。NVIDIA 的博客讨论的是机柜自己如何稳住从电网看到的功率。它不能代替上游的短路容量、谐波和峰值测量。施耐德 2025 年 9 月的控制参考专门要求测量机柜峰值和电能质量,并用 MQTT 把配电和液冷数据送给 NVIDIA Mission Control。
- 每台 NVL72 按 8 路 60 A 三相进线出图,插头和相序以 OEM 图纸为准。
- 母线槽插接箱按单路 60 A 选型。Vertiv 的 GB200 参考是每台计算柜、每条母线 2 个 60 A 插接箱,支持柜用更小的 40 A 回路。支持柜和网络柜要单独列负荷。
- 电源层、CDU 和房间空调不要共用一条不可维护的馈线。西门子的 CDU 参考给每台泵独立进线,避免一台断路器同时拿走流量和冗余。
- UPS 要分开两件事:市电中断后的续航,以及只抑制秒级功率跳动。GB300 的柜内储能主要是后者。前者按客户的停电目标另算,不要默认 15 分钟满功率电池。
液冷:90% 进水,10% 仍然要风
Lenovo 写明 GB300 NVL72 是混合散热。CPU、GPU、显存、NVSwitch 和 ConnectX 走冷板,光模块、硬盘、电源分配板上的一部分器件和带外管理仍靠柜内风扇。整柜大约九成热量进液体,一成留在空气。只设计 CDU、不留房间级空调或后门换热,风侧会先碰到温度上限。
回路分两侧。二次侧是受控冷却液,从 CDU 到柜后歧管,再经无滴漏快速接头进入托盘冷板。一次侧是楼宇冷冻水、冷却水或干冷器。两侧用板换隔开。Lenovo 允许去离子水或 25% 丙二醇,机柜可以不带水出厂,现场灌注。不要把未处理的冷冻水直接灌进冷板。
进水温度按温水设计。Lenovo 写实际应用可到 45°C,交换托盘的水温规格是 2–50°C、ASHRAE W45。NVIDIA 对后续 MGX 机柜也把 45°C 进液写成目标。二次侧如果按这个上限选型,干冷器在很多气候下可以承担大部分小时数,冷水机组变成高峰和冗余,而不是全年基荷。施耐德的 GB300 厅级参考同时给了液-液 CDU 和高温冷机或带绝热的流体冷却器,两种热沉都要在方案里留位置。
流量只用纯水做数量级。液体侧按 142 kW 的 90% 即约 128 kW,温差 10°C 时,流量约等于 128 × 14.3 ÷ 10 ≈ 183 L/min·柜。25% 丙二醇比热更低,流量要放大,放大系数用 CDU 厂家的流体表。这个 183 不是泵的订货值,也没有包含 N+1。
- CDU 按换热量和扬程选型,不按“一柜一台”想象。Vertiv 的 GB200 POD 参考是每 POD 两台 1,368 kW CDU、泵 N+1。施耐德 GB300 厅用 Motivair 液-液 CDU。一个项目只留一个 CDU 主责。
- 漏液检测已经做到托盘和机柜。运行手册要写清是告警、切断该托盘,还是整柜停水。快速接头型号随 OEM 锁定。
- 风侧按大约 10% 的整柜功率留空调或封闭通道的余量。142 kW 的一成大约 14 kW/柜,16 柜大约 230 kW 的风冷热量,要用房间空调或后门换热器接住。这是估算,正式划分以 OEM 的热量分裂表为准。
- CDU、管路和补液放在列头或灰空间。白空间只按机柜占地,会把维护侧挤掉。
怎样把参考设计收成一厅
一个 1,152 GPU 的 GB300 集群等于 1,152 ÷ 72 = 16 台 NVL72。按 NVIDIA 的 142 kW 上限,计算柜合计 2,272 kW。这只是计算柜。网络柜、存储柜、带外管理、CDU 风扇和泵、房间空调都在这之外。
施耐德 Reference Design 111 把三个这样的集群放进一个厅:3 × 1,152 GPU,单柜最高 142 kW,厅级设计容量 7,536 kW,Tier III、ANSI、冷冻水,用液-液 CDU。48 台计算柜乘 142 kW 是 6,816 kW,低于 7,536 kW。差额是支持设备和他们的冗余算法,不是可以忽略的误差。报方案时同时写出“计算柜上限”和“厅级设计容量”,并注明 7,536 kW 来自参考设计封面,平面、UPS 模块和 CDU 台数以 PDF 为准。
Vertiv 2024 年的 7 MW 参考是 GB200 的母版,仍然值得照着画界面:6 个 SuperPOD、IT 负荷 6,912 kW、每个 POD 1,152 kW、每 POD 8 台计算柜,配电按 4 保 3,冷却 N+1,每 POD 有房间级 CRAH。GB300 单柜从大约 132 kW 升到 142 kW 以后,同样的 8 柜 POD 会从大约 1.1 MW 升到大约 1.14 MW 的计算柜负荷,母线、CDU 和冷机都要按新铭牌重算,不能只改封面型号。
西门子的参考把 GB200 的液冷架构直接延伸到 GB300:同一组 CDU 可继续用,需要余量时再加一台,而不改管路拓扑。这适合已经按 GB200 建到一半的机房。加机之前仍要核对 GB300 的峰值和 90/10 热量分裂,不能假设热负荷完全不变。
- 列间距同时满足柜后歧管、八根电源线和托盘抽出。Lenovo 计算托盘深 766 mm,整柜深度以所购机柜图为准,不要套标准 1,200 mm 就结束。
- 进场按整柜。电源线和液冷接头的现场容错低,路线、电梯和楼板要在下单前确认。本页不引用未经厂商公布的整柜重量。
- 控制层:施耐德的参考用 MQTT 把配电和液冷接到 NVIDIA Mission Control。如果客户要用这套软件,弱电和点表在施工图里单列,不事后补。
这套设计停在哪里
GB300 方案的边界是:交流进线、柜内约 50 V、冷板加 CDU、温水最高约 45°C、风侧保留大约一成热量。800V 高压直流、Kyber 单柜 144 卡、Rubin Ultra 的八柜 576 卡域,都不是这张图上的设备。
Vera Rubin NVL72 如果沿用第三代 MGX 和 45°C 温水,现有液冷接口有机会复用。电气容量要等该代铭牌,不能用 142 kW 自动延续。GTC 2026 公布的另外四种机柜,CPU 柜、推理柜、存储柜和以太网柜,功率和散热都另案,不能乘以 GPU 数量。
出图前的十个确认
- 合同写的是 HGX B300 节点,还是 GB300 NVL72 整柜?OEM 是谁?
- 整柜采用 NVIDIA 142 kW 上限,还是该 OEM 的 TDP 和峰值?峰值是否包含功率平滑之后的电网侧读数?
- 电源层是 6 个还是 8 个?每层进线电流、电压和插头型号?
- 母线槽、UPS 和冷机的冗余是 Tier III 可维护,还是 4 保 3?CDU 泵是否独立进线?
- 二次侧用去离子水还是 25% 丙二醇?允许的最高进水温度和 ΔT?
- 一次侧是冷冻水、冷却塔还是干冷器?45°C 进液时全年有多少小时需要压缩机?
- 风侧那大约 10% 由哪台空调或后门换热器承担?
- 网络柜、存储柜和带外管理的功率是否已经加进厅级容量,而不是藏在 142 kW 里?
- 漏液之后的动作,以及托盘备件比例。Lenovo 建议现场备件至少按产量的 2% 估算,实际数量随规模变。
- 2027 年的中压和管廊预留是否被写成了本批的 800V 设备?
出处
- 确认 NVIDIA 企业参考架构《NVL72 AI Factory》组件页:GB300 NVL72 液冷、最高 142 kW、8×33 kW 电源层、每层 6×5.5 kW、9 个 NVSwitch 托盘、托盘级和机柜级漏液检测。
- 确认 NVIDIA 技术博客《How New GB300 NVL72 Features Provide Steady Power for AI》:功率平滑由功率上限、储能和 GPU 侧机制组成。
- 确认 施耐德 2025-09-18 新闻稿与 Reference Design 111:单柜最高 142 kW,一个厅内容纳三个 1,152 GPU 的 GB300 集群,厅级 7,536 kW,Tier III,液-液 CDU;另一份参考用 MQTT 连接 Mission Control。
- 供应链 Lenovo Press《NVIDIA GB300 NVL72》:135 kW TDP、最高约 155 kW 峰值、90/10 液风比、50 V 母排、60 A 进线、进水可到 45°C、去离子水或 PG25、母排额定 1400 A。
- 供应链 超微 HGX B300 规格书:8 卡节点最大 15 kW、约 50,000 BTU/h;一种 4 节点机柜为 60 kW。超微 GB200 NVL72 规格书:8×33 kW 电源层、总功率 132 kW、运行 125–135 kW。
- 确认 Vertiv 参考设计 #020(GB200,2024):约 7 MW、每 POD 8 台计算柜、每柜 8 个 33 kW OCP 电源层、60 A 插接箱、CDU 与房间级风冷并存。用作 GB300 的界面母版,功率按 142 kW 重算。
- 供应链 西门子数据中心参考:每台 GB200 NVL72 八路 60 A,液冷按 ASHRAE W32–W45,同一 CDU 架构可延伸到 GB300。