2026年5月初，经济观察网引述英伟达CEO黄仁勋的一句话：“要是哪天像DeepSeek这样的成果先在华为平台上出现，那对我们国家会是非常糟糕的结果。”这不仅是玩笑，更是国产算力从实验室走向大规模生产的真实紧迫感。
随着DeepSeek V4系列（V4-Pro 1.6万亿参数，V4-Flash 2840亿参数）在昇腾910C上完成全参数训练，开发者的目光转向了作为主力军的910D集群。如果说910C是攻坚高端训练的“特种部队”，910D则是支撑推理和中小规模训练的大众化选择。支撑千行百业的，往往不是峰值性能，而是稳定性。
深圳星图智能在《90天从A100切换到910D，我们踩过的坑和算出的账》中披露了一个典型的数据：历时90天完成迁移，硬件成本降低了40%，但初期自定义算子性能骤降30%。2025年6月，华为云计算CEO张平安在开发者大会上宣布新一代昇腾AI云服务全面上线，910D集群规模快速膨胀。对于运维团队而言，在成千上万张910D组成的集群中维持稳定，才是比参数规模更难的仗。
通信“水土不服”：HCCL拓扑调优
迁移初期，许多团队只盯着算子兼容，却忽略了通信层面的差异。在CUDA生态中，NCCL库让网络传输近乎透明；而在昇腾架构下，HCCL（Huawei Collective Communication Library）的行为逻辑完全不同。
某股份制银行的GNN反欺诈系统就是一个例子。2025年中迁移至910D时，遭遇了严重的延迟抖动。原本在A100上流畅运行的图神经网络，平均延迟从120毫秒飙升至300毫秒以上。排查发现，问题并非单节点显存瓶颈，而是HCCL的拓扑发现机制与物理网络布线不匹配。当节点间通信跨越非最优交换层级时，AllReduce操作耗时呈几何级增加。
解决方案不是简单升级驱动，而是手动介入HCCL拓扑配置。团队通过Ascend C定制算子优化内存访问路径，调整HCCL通信树结构，历时两个月将延迟压回18毫秒。这一案例揭示：在910D集群中，网络拓扑是动态的，必须与业务数据流模式深度耦合。
故障转移：细粒度隔离
在大规模分布式训练中，节点故障不是概率事件，而是必然事件。910D集群通常包含数千节点，任何时刻都可能有部分节点因过热、内存错误或网络中断宕机。传统“全量重启”策略在大模型时代已不可行，因为重新同步检查点的时间成本可能超过训练本身。
星图智能在迁移后期将集群稳定率提升至99.5%，关键在于引入自定义监控指标体系。他们不再仅监控GPU利用率，而是深入底层，监控HiLink互联带宽丢包率、NPU温度梯度及HCCS链路错误计数。当检测到HCCS链路连续误码时，调度系统立即将节点标记为“亚健康”，并在下一个Checkpoint间隔后将其剔除，启动备用节点热加载。这种细粒度故障隔离，避免了单点问题导致的全局停滞。
显存溢出：动态Shape的代价
尽管CANN 7.0改善了动态Shape支持，显存溢出（OOM）仍是910D运维痛点。河套学院在联合华为团队进行DeepSeek-V4-Pro后训练时发现，从PyTorch迁移至昇腾环境后，许多在CUDA上运行良好的代码出现隐式显存泄漏。原因在于昇腾内存管理更倾向预分配而非动态释放。当输入序列长度波动过大时，预分配显存碎片无法及时回收，导致后续批次频繁OOM。
应对策略包括使用Ascend C重写关键算子以精确控制内存生命周期，或实施梯度累积与激活值重计算的动态切换。参考《A100换910C实录》经验，通过Ascend C重写核心算子可将性能损耗控制在5%以内，但这要求开发者具备底层硬件认知。对于多数团队，建立自动化显存监控与动态批处理脚本，是降低OOM频率的务实选择。
信创替代的下半场，拼的不是参数规模，而是工程韧性。构建高可用集群，不仅是技术选型，更是成本控制与安全合规的战略必需。
