深圳河套学院AI训练平台项目团队，联合哈尔滨工业大学（深圳）、深圳市大数据研究院、华为及深智城AI算力平台，基于昇腾910C国产AI算力集群，完成了1.6万亿参数DeepSeek-V4-Pro大模型的全参数后训练。
这个案例的分量不轻。公开报道里提到，过去国内国产算力更多用于模型推理和小幅微调，万亿级模型的全参数训练长期依赖海外高端算力产品。现在，昇腾910C把这道门推开了一条缝。
但对准备自建算力池的团队来说，问题不会停在“能不能跑”。百卡和千卡之间，差的不是简单多买几批设备。通信、算子、故障恢复，都会在规模扩大后集中暴露。
千卡规模先看通信
万亿参数模型训练离不开分布式并行。到了千卡规模，计算本身未必是唯一瓶颈，节点之间的数据同步会变得非常敏感。
在昇腾体系里，集群通信通常会用到HCCL（Huawei Collective Communication Library）。只要链路有抖动，全局同步就可能被拖慢。大模型训练不是每张卡各跑各的，某个节点慢下来，其他节点往往也要等。这类“木桶效应”，在几十卡时不明显，到了上千卡就会变成吞吐问题。
华为在2025年全联接大会上提到“超节点互联技术”，指向的正是大规模AI基础设施里的互联问题。对企业自建集群来说，采购昇腾910C只是第一步。网络拓扑怎么设计，链路质量怎么监控，通信库参数怎么调，往往决定了集群能不能稳定跑长任务。
如果只按单卡指标估算训练效率，很容易高估实际产出。千卡训练里，等待同步、重试、排障，都会吃掉时间。
算子适配决定性能能放出来多少
昇腾910C的性能释放，很依赖CANN架构下的算子适配。尤其是Transformer模型里的注意力机制、前馈网络等热点部分，通用实现能跑，不代表效率足够好。
这也是很多团队从GPU迁移到国产算力时会遇到的第一道坎：代码层面改动不大，实际训练速度却不符合预期。原因往往不在模型结构，而在底层算子没有吃满硬件。
以Flash Attention这类算子为例，优化方向通常集中在减少HBM读写、做算子融合、提高内存带宽利用率。昇腾社区已有面向相关场景的优化版本，开发者也可以结合Ascend C编程接口，对热点算子做更细的改造。
混合精度也不能只按默认配置走。FP16是常见选择，但在部分数值敏感操作里，BF16（Brain Floating Point）更利于稳定训练。配合梯度累积，可以在显存压力可控的情况下改善训练过程。这里没有万能参数，关键是结合模型结构、损失曲线和硬件状态反复压测。
长任务最怕故障恢复跟不上
1.6万亿参数模型的全参数后训练，不是短跑任务。公开材料提到，这类训练对硬件算力、集群稳定性、算力调度等都有很高要求。放到企业内部，最容易被低估的是运维。
千卡规模下，硬件故障不能再当成偶发事件处理。节点异常、网络波动、温度告警、任务中断，都需要被快速发现和隔离。训练框架也要能配合断点续训，否则一次故障可能让大量计算时间白白消耗。
监控系统不能只看“设备在线”。至少要覆盖硬件状态、网络吞吐、温度、任务进度和资源占用。更重要的是，这些指标要能被算法团队看懂，也要能被运维团队用于调度。
算法团队希望任务尽快收敛，运维团队要保证集群可用性和资源分配。到了千卡训练，这两件事经常会冲突。是否允许独占资源，故障节点多快下线，任务失败后由谁判断重启策略，都需要提前约定，而不是等训练跑崩后再开会。
国产算力进入训练场，工程账要重新算
深圳河套学院等团队完成1.6万亿参数DeepSeek-V4-Pro全参数后训练，说明昇腾910C已经可以支撑高参数规模的大模型训练实践。这个信号很明确：国产算力不再只停留在推理和轻量微调场景。
但对企业开发者来说，真正要评估的是整条训练链路。单卡性能、集群互联、HCCL通信、CANN算子、混合精度、断点续训、监控和调度，任何一环薄弱，都会影响最终效率。
所以，千卡级昇腾910C集群的关键问题不是“能不能堆起来”，而是堆起来之后能不能持续、高效地跑。国产算力已经有了进入万亿级训练的案例，下一步考验的是工程化能力。
