GPU
真正干活、也真正发热的那颗芯片。
在智算中心里,GPU 不再是显卡,而是训练和推理的算力单元。NVIDIA 的数据中心 GPU 以 SXM 模组或整机柜的形式出现,单颗功耗从 A100 的约 400W 走到 Blackwell 的 1000W 以上。机房要准备的电和冷,最终都是为这些芯片服务的,但芯片功耗不等于机柜铭牌。
售前时:对业主说“一颗 GPU”,同时问清对方买的是芯片、8 卡服务器,还是 72 卡整柜。三种东西的电、冷、承重完全不同。
这些词会同时出现在芯片发布会和机房图纸里,但两边指的不是同一层东西。每条先给一句能对业主说的话,再解释它影响哪一项设施,最后说明售前报价时最容易混的地方。
真正干活、也真正发热的那颗芯片。
在智算中心里,GPU 不再是显卡,而是训练和推理的算力单元。NVIDIA 的数据中心 GPU 以 SXM 模组或整机柜的形式出现,单颗功耗从 A100 的约 400W 走到 Blackwell 的 1000W 以上。机房要准备的电和冷,最终都是为这些芯片服务的,但芯片功耗不等于机柜铭牌。
售前时:对业主说“一颗 GPU”,同时问清对方买的是芯片、8 卡服务器,还是 72 卡整柜。三种东西的电、冷、承重完全不同。
冷却系统必须能持续带走的设计上限,不是平均电费。
TDP 是芯片厂商给散热器出的题:在这颗芯片按设计满载时,冷板或散热器要能把这么多热搬出去。实际运行会低于 TDP,也会在短时间里冲高。训练任务的功率还会像呼吸一样起伏,所以上游空开和 UPS 看到的是一条跳动的曲线,不是一条直线。
售前时:不要用“GPU TDP × 卡数”直接当机柜功率。NVL72 还要加上 CPU、NVSwitch、网卡、电源转换损耗。整柜以 OEM 铭牌为准,TDP 只用来检查数量级。
SXM 是焊在高功耗模组上的训练形态,PCIe 是插卡。
SXM 通过板对板连接吃满 NVLink,功耗高,必须认真对待散热,NVL72 里的 GPU 都是这种模组。PCIe 卡插在普通服务器上,互联和功耗都更受限,常见于推理、图形和利旧机房。同一代芯片往往两种形态都有,价格和机房条件却不是一回事。
售前时:客户说“买 H100”时先问 SXM 还是 PCIe。PCIe 方案可以沿用更多风冷机柜;SXM 训练集群才需要讨论冷板和 NVLink 域。
贴在 GPU 旁边的内存,决定模型装不装得下、喂数据喂得快不快。
HBM 和普通内存条不同,它和 GPU 封装在同一块基板上,用很宽的接口提供极大带宽。容量不够时,模型要拆到很多张卡上,通信变多;带宽不够时,算力在等数据。从 HBM2e、HBM3、HBM3e 到路标中的 HBM4,代数越高,通常越宽、越堆得高,也越依赖先进封装产能。
售前时:业主说“算力还够、就是跑不动长上下文”时,优先看显存容量而不是 FP4 峰值。显存是采购规格,不是机房能后补的。
把 GPU 裸片和几颗 HBM 封到同一块硅中介层上的工艺。
先进封装决定这颗芯片能不能按期做出来,也决定 HBM 能堆多高。CoWoS-S 常见于单颗大芯片,CoWoS-L 用来把 Blackwell 这样的两颗计算芯片和更多 HBM 连在一起。它是晶圆厂里的工序,不是机房里的安装步骤。
售前时:供货紧张时,瓶颈常常在封装和 HBM,不在你方的 PDU。方案里不要承诺“封装可替代”,交期要单独风险提示。
用更少的位数表示一个数,换速度和显存,精度也更低。
训练和推理不必始终使用 16 位或 32 位。FP8 从 Hopper 开始成为可用精度,FP4 从 Blackwell 开始主要用于推理。位数减半,同样的电路可以吐出更多结果,模型权重也更小。不同精度的 TFLOPS 不能直接相除成“快了几倍”。
售前时:对比两代芯片时,写明比的是哪一种精度。把 Blackwell 的 FP4 峰值除以 Hopper 的 FP8 峰值,会得到一个不能验收的倍数。
Grace 配 Hopper 和 Blackwell,Vera 配 Rubin,负责把数据喂给 GPU。
NVL72 不是 72 颗 GPU 单独躺在机柜里。GB200 / GB300 是 36 颗 Grace CPU 加 72 颗 GPU;Vera Rubin NVL72 换成 36 颗 Vera CPU 加 72 颗 Rubin GPU。CPU 同样上冷板、同样耗电。它和 GPU 之间有高速连接,所以厂商把它叫超级芯片,而不是外插一颗普通服务器 CPU。
售前时:清点发热器件时把 CPU 和 NVSwitch 算进去。只按 72 颗 GPU 的 TDP 做 CDU,会在满载时不够。
芯片里专门为大模型低精度计算准备的电路和软件配合。
从 Hopper 开始,NVIDIA 把 FP8 矩阵运算和动态精度缩放做成一套可用能力,让大模型训练不必全程用更高精度。它是芯片功能,不是一款可以单独采购的设备,也不改变机柜怎么接水和接电。
售前时:业主问“Transformer Engine 要不要单独配电源”时,答案是不要。它影响的是软件栈和有效算力,不影响一次系统图。
HGX 是给 OEM 的 GPU 底板,DGX 是 NVIDIA 自己的整机,MGX 是更开放的服务器骨架。
HGX 把 8 颗或更多 SXM GPU 做成一块参考底板,超微、广达、戴尔等在上面做自己的服务器。DGX 是 NVIDIA 品牌的整机或整集群,软件和硬件一起交付。MGX 是模块化服务器规格,CPU、GPU、网卡可以按菜单搭配,方便 OEM 做差异化。NVL72 又是另一层:它是整柜参考设计,不再是把几台 HGX 服务器堆进 42U 机架。
售前时:先写清合同主体是 NVIDIA DGX、还是超微等 OEM 的 HGX/MGX 服务器、还是 NVL72 整柜。三者的维保界面不同。
一个机柜就是一个 72 卡计算域,是现在报价和机房设计的基本单位。
名字里的 72 是 GPU 数量。GB200、GB300 和 Vera Rubin 都有 NVL72 这一档:18 个计算托盘加 9 个 NVLink 交换托盘是 GB200 一代的典型构成,具体托盘数以代际图纸为准。柜内用铜缆或后续的无缆盲插把这些 GPU 连成一块大显存,而不是用光纤交换机临时拼起来。
售前时:客户说“买 1000 张卡”时,先换成“大约多少台 NVL72,余数用什么服务器补”。机柜数决定列头配电、CDU 和楼板,卡数本身不够。
这一代液冷整柜的机械和电气骨架,不是一颗芯片的名字。
Oberon 描述的是机柜:计算托盘、交换托盘、柜内铜缆背板、约 54V 母排和液冷歧管怎么叠在一起。GB200 和 GB300 都落在这个骨架上,所以机房接口可以沿用,差别主要在 GPU 显存、功耗和铭牌。它和 Kyber 是前后两代机柜,不要把两个代号当成两个供应商。
售前时:图纸上写 Oberon,业主会以为是新型号。对业主说“GB200/GB300 这一代 NVL72 机柜”更不容易买错。
2027 年路标里的机柜,不是现在能进场的柜子。
公开路标把 Kyber 和 Rubin Ultra、更高的单柜功率、800V 直流放在一起讨论,密度和供电都高于 Oberon。2026 年 10 月它还没有成为可下单产品。结构荷载、管廊和变电站用地可以预留,接头规格和开关柜不能按它采购。
售前时:方案分“本批交付”和“土建预留”两列。Kyber 只出现在第二列。
计算托盘放 CPU 和 GPU,交换托盘放 NVLink 交换机,合起来才是一台 NVL72。
传统服务器是一台机箱加顶部交换机。NVL72 把交换机也做成机柜中部的托盘,用背板和计算托盘互联。液冷歧管要同时喂到这两种托盘。维护时抽的是托盘,不是整台 4U 服务器。Vera Rubin 强调无缆盲插,就是希望托盘推进去时电接头和液冷接头自动对上。
售前时:备件和维保按托盘谈,不要只谈“服务器台数”。现场通道要允许托盘抽出。
在机柜里把交流变成约 54V 直流的那一层电源,替代每台服务器自带电源。
NVL72 不再让每个计算节点自带 CRPS 电源。柜内有若干电源层,把设施送来的交流整成直流母排,再送给托盘。这些电源砖的厂家常常是台达等电源厂商,随整柜交付。它解决的是柜内最后一段转换,不是园区变电站。
售前时:Power Shelf 的损耗已经含在整柜铭牌附近的工程余量里。不要再向业主单报一座“电源柜功率”加到 IT 负荷上,除非它是柜外的 sidecar。
GB200 一代用大量铜缆在柜内把 72 颗 GPU 连起来,又重又不能随意弯折。
在机柜这个距离上,铜仍然比可插拔光模块省电。代价是背板很重、安装容错低。这是 Oberon 机柜运输和现场组装要单独写进施工方案的原因。更后面的代际用盲插和无缆托盘减轻这件事,但没有取消柜内高速互联。
售前时:进场路线、电梯和机柜承重按整柜运输考虑。不要假设现场可以像跳线一样改 NVLink 拓扑。
让很多颗 GPU 互相访问显存的专线,不是机房里的以太网。
NVLink 代数越高,单颗 GPU 对外的带宽越大。在 NVL72 里,它的作用是把 72 颗 GPU 变成一个可以统一编址的计算域。这个网络终结在机柜(或厂商定义的域)内部,不代替柜与柜之间的 InfiniBand 或以太网。
售前时:拓扑图分两层画:柜内 NVLink,柜间 Scale-out。不要把两层带宽加在一起写成“集群网络带宽”。
Scale-up 是把一个 NVLink 域做大;Scale-out 是把很多域用网络连起来。
训练一个放不进单柜显存的模型,先靠 Scale-up 减少通信,再靠 Scale-out 增加柜数。两种扩展使用不同的交换机、线缆和故障域。机房布线、光模块备件和交换机功耗都落在 Scale-out 这一侧。
售前时:问客户模型并行要跨多少柜。只做推理、单柜就能放下的业务,Scale-out 交换机可以小得多,电量和光模块不要按万卡训练去抄。
柜与柜之间走的专用网络,追求时延和拥塞控制,而不是通用上网。
Quantum 系列交换机和 ConnectX 网卡组成 InfiniBand 网络,是很多 NVIDIA 训练集群的 Scale-out 选择。它和机房办公网、带外管理网不是一回事,通常要单独的光纤布线。
售前时:光模块速率(400G、800G、1.6T)决定交换机功耗和光纤等级。这项负荷要单独列出,不要藏进 GPU 机柜铭牌。
用以太网承载 GPU 之间的流量,同时尽量避免丢包。
RoCE 是跑在以太网上的 RDMA。普通以太网会丢包,训练通信对丢包很敏感,所以 NVIDIA 用 Spectrum-X 交换机和网卡做拥塞控制。它和 InfiniBand 是两条 Scale-out 路线,选哪条取决于客户现有运维体系和多租户需求。
售前时:一个集群不要两套 Scale-out 同时当生产网来设计。选定之后,光模块、交换机冗余和运维团队按这一套报价。
把光引擎和交换芯片做在一起,少用可插拔光模块。
速率走到 1.6T 以后,可插拔模块又耗电又占面板。CPO 让光靠近芯片,功耗下降,但交换机更依赖液冷,激光器往往外置以便更换。它改变的是交换机这一层的散热和备件,不是 GPU 冷板本身。
售前时:2026 年的 GB300 方案仍以可插拔光模块为主。CPO 写进路标和机房预留,不写进本批光模块清单,除非招标文件明确指定。
ConnectX 负责收发数据,BlueField 还能在网卡上跑网络、存储和安全任务。
SuperNIC 是 NVIDIA 对面向 AI 东西向流量的智能网卡的叫法,ConnectX-9 出现在 Vera Rubin 平台公开材料里。BlueField 是 DPU,上面有自己的处理器,可以把一部分基础设施软件从主机 CPU 上挪走。两者都占机柜功耗和插槽,但远小于 GPU。
售前时:网卡带宽决定 Scale-out 交换机怎么配。DPU 是否启用是软件架构问题,不要为了“有 BlueField”就加大一级变电站。
GB200/GB300 机柜内部用大约 48–54V 的直流铜排把电送给托盘。
电压低,同样功率下电流就很大。132kW 在 54V 下电流大约 2400 安,所以铜排又粗又热。这是柜内的配电,设施侧多数时候仍然是交流进到 Power Shelf。它和园区的中压、和未来的 800V 不是同一个接口。
售前时:对电气工程师说清楚:54V 是柜内母排,招标文件里的“市电 415V”仍然成立。不要把 54V 理解成机房要新建一座 54V 变电站。
把柜内母线电压抬到 800V 左右,电流大约降到原来的十五分之一。
功率等于电压乘电流。电压提高,铜排可以细很多,转换级数也有机会减少。NVIDIA 在 2025 年 5 月把这件事定义为 1MW 级机柜的方向,起始窗口是 2027 年,用来承接 Rubin Ultra 一类机柜。GB200 的 132kW 参考设计并没有要求机房先改成 800V。
售前时:2026 年的 GB300 项目,电气主方案仍按交流进线和柜内 54V 来做。800V 只出现在“2027 预留”里,并注明开关柜、直流保护和母线都还没有本批供货。
用电力电子替代一部分传统变压器,以便更直接地得到直流。
传统路径是中压交流变成低压交流,再经 UPS 和电源砖多级转换。SST 希望把其中几级折叠掉,提高效率,并为 800V 直流提供来源。它是下一代供电的设备形态,体积、保护和运维规程都还在和 Vertiv、Eaton、施耐德一起工程化。
售前时:没有 800V 项目就不要报 SST。业主现有的油浸或干式变压器不会因为买了 GB300 就作废。
UPS 保住整段市电中断,BBU 更多是为了接住 GPU 功率的突然跳动。
训练步与步之间功率会骤升骤降。如果上游只按平均功率选空开,冲击会跳闸。电池或超级电容可以在毫秒到秒级把这个尖峰填平。这和“市电停了还能训多久”是两个需求,容量算法不同。
售前时:问客户要的是停电续航,还是只抑制功率波动。后者不需要按全功率后备 15 分钟去放大电池室。
母线槽是列上的主干,PDU 是进机柜前的分配和计量。
高密机柜往往不再用地板下拖一把电缆到每台机柜,而用架空母线槽,插接箱取电。132kW 机柜的插接箱、接插件和上游开关都要按这个电流选,传统 8–15kW 的 PDU 规格不够。直流母线是 800V 阶段的另一种主干,和今天的交流母线槽不要画成同一条线。
售前时:把每柜功率交给电气伙伴选母线,不要在 GPU 报价单里用“含 PDU”一笔带过。
全厂用电除以 IT 用电。越接近 1,说明制冷和配电损耗越少。
液冷通常能把 PUE 做低,因为热量不必全部靠空调吹走。但 IT 本身从 40kW 变成 140kW 之后,总电量仍然大幅上升。PUE 从 1.4 降到 1.15,省下的是辅助用电的比例,不是 GPU 的电。
售前时:向业主同时报 IT 功率和全厂功率。只说“PUE 可以做到 1.15”会让人误以为电费下降。
冷却液流过贴在芯片上的金属冷板,把热带走。服务器本身不泡在液体里。
NVL72 的参考设计就是冷板:GPU、CPU、NVSwitch 上有冷板,托盘通过接头接到机柜歧管。空气仍可能负责少量次要器件,但主发热不再靠风扇。冷板是 NVIDIA 这一代机柜的路径,浸没式不是它的替换件。
售前时:客户现有浸没槽不能直接放入一台 NVL72。接口是歧管、快速接头和 CDU,不是油槽。
站在机房的水和 GPU 冷却液之间,控制温度、流量和压力。
CDU 用板式换热器把两侧隔开。二次侧是干净、可控的冷却液,进入冷板;一次侧是冷冻水、冷却水或干冷器回路。它还负责过滤、补液、泄漏隔离和泵的冗余。可以把它理解成液冷系统的分集水器加上板换,不是另一台空调。
售前时:CDU 可能由维谛、施耐德、英维克或 CoolIT 提供,不一定和计算柜同一品牌。选型看换热量、扬程和冗余,不要按“一柜一台”想当然。
一次侧属于楼,二次侧属于 IT 液冷回路,中间用换热器隔开。
楼宇冷冻水里可能有脏污、水处理药剂和更高的压力,不能直接灌进 GPU 冷板。二次侧用指定的水或水-乙二醇,电导率和颗粒度受控。热量从二次侧传到一次侧,再由冷机、冷却塔或干冷器排到室外。
售前时:图纸上两条回路都要画。只写“接冷冻水”而没有 CDU,等于让脏水进冷板。
同样的热量,温差越小,需要的流量越大。
水的比热大约是 4.18 kJ/kg·°C。粗算时,流量(升/分钟)≈ 功率(千瓦)× 14.3 ÷ ΔT(°C)。100kW、温差 10°C 时,纯水大约 143 L/min。乙二醇比热更低,流量还要放大。泵、管径和 CDU 都按流量选型。
售前时:这是校核数量级的公式,标签是工程近似。正式数字以冷板允许的进水温度和 CDU 选型表为准,并留过滤器和冗余回路的余量。
拔开液冷管路时尽量不漏液的接头,托盘靠它维护。
NVL72 的托盘要能抽出。接头如果滴液,就会滴到带电部件上。盲插还要求托盘推进机柜时接头自动对准。接头品牌(如 CPC、Staubli)往往不是整柜品牌,但规格必须和歧管匹配,不能现场混用。
售前时:维保手册里写清接头型号和插拔寿命。不同 OEM 的接头不要假设通用。
机柜后门里通水,把即将排进机房的热风就地冷却。
它不接触芯片,仍然是风冷服务器,只是把热交换挪到柜门。对 20–40kW 的 Hopper 改造很有用,因为不必更换成冷板节点。到了 100kW 以上的 NVL72,后门换热器接不住主发热,只能作为辅助。
售前时:存量 H100 机房优先评估 RDHx 或冷板改造。不要给 A100 风冷集群直接报一套 NVL72 CDU。
散热能力强,但 NVIDIA 的 NVL72 参考设计不走这条路。
单相浸没用高沸点冷却液,两相浸没靠液体沸腾。它对部分自建服务器有效,机柜形态、承重和维护流程都和标准机架不同。Oberon 机柜的连接器、铜缆背板和托盘是按冷板设计的,不能原样放入浸没槽。
售前时:只有客户明确采购浸没服务器时才做浸没方案。和 NVL72 放在同一张图纸里时,分成两种机柜,不要共用一套接头。
GPU 越密,灰空间占的面积比例越高。
白空间是 IT 机柜。灰空间是变配电、UPS、CDU、水处理和冷机。40kW 风冷机房里,空调可以贴着机房。140kW 液冷之后,列头要留 CDU 和管路,楼外要留冷却塔或干冷器。只按机柜占地算租赁面积,会把 CDU 挤没。
售前时:平面图同时标白空间机柜列和灰空间设备。预制 POD 是把一部分灰空间提前做到工厂里,现场仍然要接一次侧水电。
厂商公布的一套可复制设计,不是已经装好的设备清单。
NVIDIA 与 Vertiv、施耐德分别公布过 GB200 NVL72 的电力和冷却参考,用来告诉机房大概如何配 132kW 液冷柜。它给出边界和推荐拓扑,具体型号仍要按项目选型。参考架构能缩短设计,不能代替施工图。
售前时:对业主说“按某参考架构”,后面附上功率边界和仍需确认的水温、冗余。不要把参考架构当成交钥匙合同。
SuperPOD 规定计算、存储、网络怎么配;POD 把它们预先装进模块里运到现场。
SuperPOD 是逻辑和物理的参考单元,常见以若干机柜为一组。预制 POD 或集装箱把机柜、部分配电和 CDU 在工厂装好,现场接水接电。预制省的是现场安装时间,不是电和水。一次侧的变电站和冷却塔通常仍在舱外。
售前时:问清交付界面停在舱体法兰,还是包含室外冷源。72 小时上电指的是接口已经就绪之后。
广达、富士康多按设计代工;超微、戴尔、HPE 更多以自己的品牌整机卖给客户。
同一台 NVL72 的机械设计可以来自 NVIDIA 参考,制造在富士康或广达,品牌合同却可能签在超微。云厂商还可能跳过品牌 OEM,直接和 ODM 定制。电气和液冷伙伴又是第三条合同。三条链都出现在新闻稿里,不代表要向三家各买一台柜子。
售前时:合同上的供货责任人只能有一个计算柜主体。其他名字写进配套界面。
云厂商用的开放机柜标准。ORv3 用 48V 母排给整柜供电。
Open Compute Project 让机柜、电源和液冷接头有公开规格,减少每家一种私有机架。ORv3 的 48V 母排是理解 NVL72 柜内 54V 的前史:都是低压直流进节点,只是功率已经从几千瓦柜走到百千瓦柜。NVIDIA 也把 GB200 的部分机械和液冷设计回馈给 OCP。
售前时:客户如果坚持原有 ORv3 机柜,要核对深度、母排电流和液冷盲插,不能只看“都是 48V”就认为能插入 NVL72 托盘。