2026年1月深圳河套学院上线的8000P昇腾集群,前两个月电费单就从280万飙到380万(《8000P昇腾集群落地两月:能源账单和散热难题谁在买单?》)。半年过去,这笔账有了新答案:PUE优化到1.15,但硬件故障和混部调优把成本回收周期推到了3.5年以上。
PUE:从1.22到1.15,免费冷却和动态调频是主力
上线初期液冷系统磨合加上夏季高温,PUE一度冲到1.22。运维团队随后做了三件事:将冷却液温度从18℃调高到22℃,在深圳冬季利用冷却塔免费供冷(贡献了约0.05的降幅),并对昇腾910C启用DVFS动态调频。最终半年平均PUE稳定在1.15。据华为企业业务页面,Atlas 900 A3 SuperPoD在风液混合设计下PUE可做到≤1.15,实际运营接近官方标称。
硬件故障率:2.1%背后的隐性成本
硬件故障是除电费外的另一大开支。半年累计故障率控制在2.1%以下,但液冷管路和网卡仍是短板。故障分布中液冷接头漏液占近四成,单次漏液导致整柜关机,连带训练任务回滚。昇腾平台的预测性维护工具通过监测温度、内存错误率等指标提前预警,让热替换在任务间隙完成,避免了大量中断。即便如此,备件等待平均时间仍达48小时,因硬件故障导致的间接算力损失约占运维总成本的15%。
混部效率:90%的理论与现实87%的平衡
鲲鹏昇腾开发者社区2026年5月发布的文章称,NPU算力切分技术可将算力利用率提升至90%以上。实际运营中,通过CANN混部调度将训练和推理混合部署,平均利用率达到87%,峰值92%。但混部带来了推理延迟抖动——训练任务抢占PCIe带宽使推理TP99延迟从12ms飙到45ms。最终不得不将混部比例限定在60:40,并预留专用资源组。
成本回收:3.5年还是5年?
8000P集群初始投资5.5亿元(含服务器、液冷、电力配套等)。半年运营成本3100万元(电费2700万、水费120万、运维人力120万、备件维修160万)。假设对外出租,按市场价10元/PFLOPS·小时,满负荷月产值5760万元。但出租率实际仅60%,扣除电费和运维后月净收入约380万元,半年净收入2280万元,仍低于运营成本。若出租率提升至80%,折旧按5年算(每年1.1亿),静态回收期约3.5年;若出租率维持60%,则回收期超过5年。
电力政策、算力单价波动和技术迭代都会影响最终回收期。但一个事实是确定的:算力中心不是印钞机,持续的能效优化和精细运营才是缩短周期的关键。
(关于混部延迟问题的进一步优化,可参考《910C迁移后,推理延迟卡在这几层》中的算子层调优经验。)