今年6月，深圳河套学院的工程师们盯着监控屏，直到第1500步训练顺利完成，才确认全程没有中断。他们联合华为、哈尔滨工业大学(深圳)等团队，在深智城AI算力平台的昇腾910C千卡集群上，完成了DeepSeek-V4-Pro的1.6万亿参数后训练。故障率0.3‰，模型算力利用率（MFU）超过30%，关键训练算子效率提升14%。
0.3‰的故障率，换算到万卡级别，对应华为云算法创新Lab此前披露的训练可用度98%——全年365天中超过358天可随时启动训练。万卡线性度超95%，意味着千卡效率是百卡的9.5倍以上。这些指标背后是华为2025年全联接大会提出的超节点互联技术。
故障自愈靠一套全栈可观测系统。从芯片、服务器、网络到训练框架，系统实时采集数千个维度指标，统一监控集群状态。一旦节点心跳异常或通信超时，调度器自动将该节点从训练环摘除，触发预置修复脚本，秒级恢复，几分钟内定位问题根因。
硬件异构性引发的“幽灵报错”是攻关重点。同一批昇腾910C芯片在功耗调度、缓存时序上存在细微差异，数千卡并行时可能放大为梯度同步超时等问题。华为的硬件特征库在任务启动前自动比对芯片的硬件指纹——核心频率、缓存大小、工艺版本，将偏差明显的卡降频或隔离，从源头消除隐患。
自愈系统不是万能。算法层的深度错误，比如自定义算子与CANN库行为差异导致loss波动，不会触发硬件告警，仍需工程师人工排查。参与训练的工程师总结：机器能处理约80%的常规故障，剩余20%需要人工介入，尤其是与国产软件栈深度耦合的复杂问题。
0.3‰不是终点。更大规模的模型会带来通信拓扑更复杂、资源争抢更激烈的新问题。华为云已在探索预测性自愈——根据历史故障模式提前预警，而不是等错误发生再恢复。
这次实测表明昇腾910C集群迈过了“稳定可用”的门槛。对企业来说，训练的可预测性和总体拥有成本，比裸算力价格更关键。能稳定跑完每一步的算力，才是真正的生产力。
