液冷机房设计：从风冷极限到冷板液冷

摘要：H100 单卡 700 W、整柜 100 kW+ 的功率密度，已经把"要不要液冷"变成了"必须液冷"。本文讲清风冷极限在哪、液冷方案怎么选、关键组件与验收运维怎么做——给做集群交付的人一套可直接落地的设计方法。

1. 为什么必须液冷：风冷的物理极限

风冷散热能力 ≈ 机房环境（送风温度/风速）× 机柜表面积
典型风冷极限：50~60 kW/柜（40U 机柜、送风 18~22°C）

代际	单卡 TDP	8 卡节点	整柜（6~8 节点）	风冷可行性
A100	400 W	3.2 kW	~20 kW	✅ 勉强
H100	700 W	5.6 kW	40~50 kW	⚠️ 贴极限（需高风速）
B200+	~1000 W	8+ kW	80~120 kW	❌ 必须液冷
机柜级 Scale-Up	—	—	100 kW+ 常态	❌ 必须液冷

判断公式：机柜功率密度 > 55 kW/柜 → 液冷不是可选项，是前置条件。

2. 液冷方案选型：冷板 vs 浸没

维度	冷板式（Direct-to-Chip）	浸没式（Immersion）
原理	冷却液经冷板直接接触 CPU/GPU 盖	整机浸入冷却液
换热效率	高（芯片级精准散热）	最高（全部件散热）
改造成本	中等（可兼容标准机柜）	高（专用槽体/介质）
维护便利	接近传统运维	复杂（取出整机维修）
适用	AI/HPC 主流选择	超高密度/超算专用

工程结论：冷板式是当前主流——散热效率覆盖 100~150 kW/柜，维护接近传统，性价比与可落地性最佳。浸没式留给 >150 kW/柜 的超高密度场景。

3. 冷板液冷关键组件

3.1 一次侧与二次侧

室外 → 冷却塔/干冷器（一次侧，冷却水 ~35°C 出）
        ↓
CDU（冷量分配单元：换热 + 泵 + 水质管理）
        ↓
机房内 manifold（分集水器）→ 快接头 → 服务器冷板（二次侧，去离子水/丙二醇 ~25°C 进）

3.2 组件选型要点

组件	关键参数	注意
CDU	换热功率 ≥ 机柜总功率 × 1.25（冗余）	主备泵、N+1 冗余
快接头	无滴漏（dry-break）设计	漏液源头 80% 在快接头，选认证型号
冷却液	去离子水（DIW）或丙二醇混合液	DIW 导电低但需防腐蚀；混合液防冻但换热稍差
manifold	每柜 1 组，带流量计与温度计	流量/温差入监控
泄漏检测	绳式/点式传感器	每柜至少 1 路，接入告警联动切断

3.3 一次侧设计

• 冗余：CDU N+1，泵站双路供电，冷源（冷却塔）按 2N 设计或配置蓄冷罐。
• 水质：一次侧加药/过滤/杀菌，二次侧 DIW 电导率监控（< 1 µS/cm）。
• 温度策略：二次侧进水 25°C 起步（允许更高水温，GPU 结温 < 85°C 即可），水温越高 PUE 越低。

4. 与空气冷却共存：混合机房

AI 集群通常液冷 GPU 节点 + 风冷网络/存储节点混布：

• IB 交换机是风冷：交换机机柜功率密度低（< 20 kW/柜），风冷即可，但不能放在液冷机柜的"热通道"里。
• 布局：液冷区（GPU 节点）与风冷区（网络/管理/存储）分通道布置，液冷机柜密封冷热通道，避免混风。
• 新风/湿度：机房湿度 40~60%RH，冷凝风险在快接头与冷板表面——露点监控不可省。

5. 验收与运维：液冷不是装上就完

5.1 验收四步

1. 单柜流量/温差验收：设计流量下 ΔT 符合 spec（通常 10~15°C）
2. 负载压测：满负载 24h，GPU 结温 < 85°C，CDU 无报警
3. 漏液演练：人为模拟泄漏（注水测试），验证检测+联动切断
4. 冗余验证：主泵故障切换，训练不中断（切换时间 < 5s）

5.2 运维要点

• 漏液巡检：每季度快接头扭矩复检 + 视觉巡检，漏液传感器自检。
• 水质维护：DIW 电导率/微生物月度检测，树脂更换按厂家周期。
• 维护窗口：液冷维护（CDU 清洗、滤芯更换）与硬件维护合并排期，减少停机次数。
• 故障预案：CDU 失效时二次侧余热靠自然循环/应急冷源支撑的时长，写进 runbook（通常要求 ≥ 15 分钟应急窗口）。

6. 设计参数速查

参数	推荐值	备注
二次侧进水温度	25~32°C	越高 PUE 越好，GPU 结温为上限
机柜液冷能力	≥ 100 kW/柜	按未来一代 GPU 预留
CDU 冗余	N+1	换热与泵双冗余
漏液传感器	每柜 ≥ 1 路 + 快接头处重点	联动切断电源/泵
冷却液电导率	< 1 µS/cm	DIW 标准
应急窗口	≥ 15 分钟	CDU 失效后训练安全停机时间

延伸阅读：万卡集群硬件选型与验收清单（散热与供电选型维度）、GPU 驱动与生命周期管理（硬件生命周期配套）。