昇腾 910C 万卡集群的液冷巡检：哪些信号需要提前 30 天报警

6 月底的北京正值算力园区的高温承压期。一家部署了 4 个万卡规模昇腾 910C 集群、合计超 8000P 算力的园区，冷媒切换备用链路触发未告警的静默故障，导致主干水温在 7 分钟内飙升 4.2℃，集群触发热保护停机 22 分钟，直接中断了某万亿参数基座模型的预训练任务，损失算力账单超百万元。

复盘锚点指向了一个被一线忽视的盲区：漏液率和分水器温差的常规告警阈值设得太宽。当防冻液微小渗漏导致主管路缓蚀剂浓度跌破下限，CDU（冷量分配单元）的板换效率已经在以每天 0.3% 的速度衰减，而常规的实时水温告警根本无法在这 30 天的温水煮青蛙周期里提前 ringing。

集群运维不能只看实时红线，预测性维护的关键在于捕捉 30 天级别的慢变量。

漏液率与离子浓度：30 天慢变量的静默败局

昇腾 910C 的单卡 TDP 逼近 700W，在超节点架构下，机柜内 U 型分水器承受的长期压力并不平均。此次 8000P 园区事故的源头，是一处 fluorine-rubber（氟橡胶）密封圈在三个月冷热交替（22℃ 至 35℃）中产生的微小晶格蠕变渗漏。

日均漏液率在 1.2ml 到 2.5ml 之间波动。园区常规漏水绳报警阈值设定在单点积液 >50ml，这个量级对突发爆管有效，对微小渗漏则是完全失聪的。真正致命的是：防冻液中缓蚀剂（通常为钼酸盐和磷酸盐复合配方）随渗漏持续流失，导致管路内壁失去钝化膜保护，产生微观电化学腐蚀。

预测性维护阈值（提前 30 天干预）：

• 漏液率累计速率：选用高精度流量计监测主管路补液泵的累积动作量。如果连续 7 天日均补液量 >15ml，触发 P2 预警；连续 14 天 >30ml，触发 P1 工单。这通常是密封圈蠕变的早期信号。当单机柜周漏液量逼近 150ml 补液红线时，物理脱晶已经发生。
• 缓蚀剂离子浓度：不要依赖季度的离线人工采样。部署在线电导率与特定离子选择电极。钼酸根离子浓度（MoO4²⁻）标称值通常在 80mg/L，当动态浓度跌破 60mg/L 的经验阈值，P3 预警应直接联动驻场运维进行加药。
• 电导率异动：冷却液基础电导率偏离基准值 ±5% 且持续 48 小时无回落，说明系统内离子平衡正在崩溃，35 天后大概率出现 CDU 接口微孔堵塞与板换热阻陡增。

CDU 分水器温差与热阻衰退的 PUE 连锁反应

据 2025 年底液冷产业大会披露的数据，2026 年新建大型数据中心 PUE 必须低于 1.15，液冷是刚需。这意味着 CDU 的换热效率没有冗余空间来掩盖轻微的结垢衰减。具体可对照之前发布的《万卡集群跑三个月，电力、调度和液冷的真实账单》，CDU 在不同负载率下的微小温差都直接关联整体能效账单。

关键被忽视的指标是板换液侧与二次侧的瞬时温差变化率（dT/dt）。当冷却液缓蚀剂失效产生絮状沉淀，会在 CDU 板换水侧形成 0.1mm 的隔热层。此时主干回水温度会以每天 0.05℃ 的极慢速度爬升。

预测性维护阈值（提前 30 天干预）：

• 分水器稳态温差：满载运行时，同机柜二次侧分水器主管前后温差历史基线如果是 2.5℃，如果连续 48 小时温差均值升至 2.85℃，触发 P2 预警。热阻正在累积，必须在两周内安排计划性清洗。
• 主备冷源切换压差瞬时响应：8000P 园区事故的直接触发点。主用 CDU 切换至备用 CDU 时，主管网压力存在瞬态压降。正常波动区间在 0.5bar 以内，事故日压降突增跳变至 1.8bar，管路内残存的沉积物被瞬间冲刷扰动，直接堵塞末端分水器过滤网。

覆盖昇腾 910C 集群的 Prometheus 指标模板

避免事后补监控，以下为生产环境直接可用的 Prometheus 规则集，覆盖了常规 cdhu_temp_high 瞬时告警之外的中长期预测项。华为昇腾在超节点互联基础设施白皮书中强调了系统级架构的稳定性，运维侧必须用相应颗粒度的监控去兜底。正如我们在《华为智能世界2035：AI走进物理世界前，先过工程关》中提到的，算力园区走向物理世界前，稳定性是第一道过关工程。

#groups: cdhu_predictive_maintenance.yml
rules:
  # 1. 缓蚀剂浓度跌破阈值（联动在线电导仪与化学传感器）
  - alert: CoolantInhibitorConcentrationDrop
    expr: avg_over_time(coolant_inhibitor_concentration_mg_l[7d]) < 60
    for: 24h
    labels:
      severity: P3
      cluster: Ascend910C_SuperNode
    annotations:
      summary: "CDU 缓蚀剂浓度持续低于 60mg/L"
      description: "机柜 {{$labels.cabinet}} 钼酸盐浓度跌破下限，管路钝化膜存在降解风险，预计 30 天后板换热阻超标。"

  # 2. 7 天累计补液量异常（捕捉微小渗漏）
  - alert: CoolantLeakRateAbnormal
    expr: increase(sum_over_time(cdu_makeup_liquid_ml[7d])) > 15
    labels:
      severity: P2
      cluster: Ascend910C_SuperNode
    annotations:
      summary: "7 天累计补液量超过 15ml"
      description: "{{$labels.cdu_instance}} 累计补液异常，请检查 U 型分水器与机柜内快速接头密封圈状态。"

  # 3. CDU 板换稳态温差爬升（热阻缓慢衰退指示器）
  - alert: CDUTemperatureGradientIncrease
    expr: avg_over_time((cdu_secondary_return_temp - cdu_secondary_supply_temp)[48h]) > (avg_over_time((cdu_secondary_return_temp - cdu_secondary_supply_temp)[168h]) + 0.35)
    for: 6h
    labels:
      severity: P2
    annotations:
      summary: "CDU 板换水侧温差对比上周均值偏高 0.35℃ 以上"
      description: "板换可能开始结垢或产生絮状物堵塞，建议下个维护窗口进行内窥镜检查及清洗。"

  # 4. 冷源切换压差异常尖峰（防止冲刷堵塞）
  - alert: CDUSwitchPressureSpike
    expr: max_over_time((coolant_line_pressure_delta_bar)[5m]) > 1.3
    labels:
      severity: P1
      cluster: Ascend910C_SuperNode
    annotations:
      summary: "主备切换压差瞬时超过 1.3bar"
      description: "主管道压差异常，可能扰动管路沉积物导致末端分水器堵管，需立即人工介入切换流程并检查末端流量。"

边路预警与工程约束

监控指标的盲区，在于线上模型似度分数对硬件恶化早期宽容度过低，往往都用精度掉点了去倒查硬件，对大模型训练的定了问题有滞后。昇腾 910C 引入集群级训练由于显存级与显存互联极依赖稳定的温度，超节点同一PoD内的“细水长流”类微小挂定其实最终都传递到了行向一致性检查的红灯上。

关于算力园区系统的硬约束，近期国家发改委落实的《新型数据中心发展三年行动计划》中指出，大型数据中心面对双碳背景，已无背景冗余来掩护温差微变。正如我们在以往的对标运维文章中指出的，万卡集群三个月里的真实账本里，冷媒切换失败故障大部分都系由于早期热动参数发觉不全的人因引发。在这里同样推荐《万卡集群跑三个月，电力、调度和液冷的真实账本》，其对各电力侧与冷却似量的悲准期上了和云上同震周期上的原理提醒，给一路运维一组很好接接的扩容决策的基打拼。