公开材料能确认的,是昇腾910C集群已经完成1.6万亿参数模型的全参数后训练。至于CANN 8.0.RC2更新后,推理吞吐是否提升43%,现有来源还给不出答案。
据新浪科技报道,2026年6月5日,深圳发布通报称,深圳河套学院AI训练平台项目团队联合哈尔滨工业大学(深圳)、深圳市大数据研究院、华为有关团队及深智城AI算力平台,依托昇腾910C集群,完成DeepSeek-V4-Pro的全参数后训练。
这条消息证明了昇腾910C集群可以承担1.6万亿参数模型的后训练任务,但它不是推理基准,也没有公布CANN不同版本之间的性能对照。训练跑通和推理提速,是两件事。
43%先别急着写进性能结论
待核验的数据是:在Batch Size 1、Seq Len 4096条件下,吞吐从约3420 tokens/s/NPU升至约4890 tokens/s/NPU,增幅约43%。算术没有问题,问题出在测试口径不完整。
仅标注“内部复现实测”,开发者仍然无法判断这组结果能否复现。至少还缺少这些信息:
- 使用的是完整模型、裁剪版本还是量化版本;
- 集群包含多少张910C,采用了什么并行和权重分片方式;
- tokens/s/NPU是设备实测值,还是从集群总吞吐折算而来;
- 测试覆盖的是Prefill、Decode,还是两者合并后的平均值;
- CANN、驱动、框架和算子包的完整版本;
- 输入数据、预热方式、测试时长及多次运行的波动范围。
原有口径只给出了Batch Size和序列长度,无法排除并行策略、精度或调度方式带来的影响。在补齐日志之前,43%更适合作为待验证结果,而不是确定的升级收益。
“单卡”口径尤其容易引起误解
深圳发布确认的是昇腾910C集群完成后训练,并非单张910C独立承载1.6万亿参数模型。腾讯云开发者社区的一篇第三方文章列出的910C HBM容量为96GB,同时给出过6688 tokens/s/NPU的推理口径。
这个数字也不能直接拿来和3420或4890比较。只要模型版本、量化精度、并行规模或输入长度不同,tokens/s/NPU就不是同一项测试。文章如果使用“单卡吞吐”,需要明确它究竟指单设备独立推理,还是集群结果按NPU数量归一化。
29%的KV Cache降幅也缺少边界
另一组数据称,在32K上下文下,KV Cache占用从约12.3GB降至8.7GB,节省约29%。这同样不能脱离模型配置单独成立。
KV Cache占用会受到Batch Size、数据精度、模型层数、KV头数量、缓存块设置和分片方式影响。所附材料没有给出这些条件,也没有CANN 8.0.RC2的官方变更说明或性能日志,因此无法确认降幅是否来自PagedAttention与FlashAttentionV3的融合优化。
如果要验证长上下文优化,除了峰值显存,还应同时记录首Token延迟、Decode速度、缓存命中情况以及是否发生内存溢出。只看一组显存数字,很难判断它是否换来了额外的计算或通信开销。
公开资料能支持到哪一步
九方智投的材料提到,昇腾计算体系不只有处理器,还包括CANN、AI计算框架、开发工具链和运维工具。这可以支持一个基本判断:同一块硬件上的实际吞吐,确实会受到算子实现、内存调度和框架适配影响。
但这份材料没有给出910C升级前后的推理数据,也不能用来证明43%或29%的具体增幅。第三方文章中的6688 tokens/s/NPU同样只能作为独立参考,不能替代同环境下的A/B测试。
升级测试应该留下什么
对正在迁移模型的团队,更有价值的做法不是先列一张固定的算子替换表,而是把环境锁定后做对照:
- 保持模型权重、输入数据、硬件拓扑和并行策略不变,只更换CANN及对应算子包;
- 分开记录Prefill吞吐、Decode吞吐、首Token延迟和单Token延迟;
- 用MindSpore Insight、ModelArts或现有Profiling工具确认融合算子是否真正命中;
- 分析计算、数据搬运与卡间通信各自耗时,避免把调度变化误判为算子收益;
- FP16、BF16或FP8分别测试,并同步检查输出精度,不能只比较速度;
- 进行32K上下文测试时,写清Batch Size、KV Cache精度、分块设置和峰值显存。
nn.Linear是否需要手动改成MatMul、LayerNorm是否命中融合实现,也应以执行图和Profiling结果为准。仅凭API名称替换,不能保证性能提升。
现在能下的结论,要窄一点
昇腾910C集群已经完成1.6万亿参数DeepSeek-V4-Pro的全参数后训练,这是公开来源能够确认的进展。CANN和算子层优化也确实可能影响推理效率,但现有材料不足以验证43%的吞吐提升和29%的KV Cache降幅。
这并不否定软件优化的价值。恰恰相反,硬件不变时,算子是否融合、内存如何调度、并行是否合理,都会影响最终产出的有效Token。只是对国产算力做性能判断,最好从可复现的测试日志开始,而不是从一个孤立的百分比开始。