AI 纪元 追踪人工智能最新进展,深度解读前沿技术

昇腾910C跑通万亿模型后,运维账怎么算

深圳河套学院AI训练平台项目团队等基于昇腾910C集群完成1.6万亿参数DeepSeek-V4-Pro全参数后训练。比起“跑通”,1500余步无中断、MFU超过30%、故障率控制在0.3‰,更能说明这类国产算力集群的工程门槛。

0 次阅读 约 1730 字 3 分钟 AI 生成
A high-end editorial macro shot of a server rack's internal cooling system, emphasizing thermal flow and structural integrity.
A high-end editorial macro shot of a server rack's internal cooling system, emphasizing thermal flow and structural integrity.

1500余步,零中断。对于一次大模型训练来说,这几个字比口号更硬。

据太平洋科技快讯报道,深圳河套学院AI训练平台项目团队联合哈尔滨工业大学(深圳)、深圳市大数据研究院、华为及深智城AI算力平台,基于昇腾910C国产AI算力集群,完成了1.6万亿参数DeepSeek-V4-Pro大模型的全参数后训练。报道提到,这为第三方机构使用国产算力开展同级别大模型训练积累了经验,也验证了国产AI芯片支撑超大参数模型训练的能力。

开发者真正关心的,往往不是发布稿里的“成功完成”,而是训练过程中有没有掉链子。当前稿件披露的几个指标更值得看:MFU超过30%,故障率控制在0.3‰,1500余步无中断。

MFU超过30%,说明千卡规模下,算力没有被通信、算子调度和等待时间大量吃掉。故障率0.3‰,则指向另一个问题:集群不是把卡插满就能用,稳定运行本身就是一门重工程。

千卡集群最怕的不是慢,是断

万亿参数模型的训练,对硬件和软件都很挑。DeepSeek-V4-Pro这类模型面向逻辑推理、数理运算、代码生成、长文本解析等场景,参数规模上来以后,训练任务对显存、互联、调度和检查点机制都会变得敏感。

在小规模测试里,一张卡异常,工程师可以手动处理;到了千卡级别,人工介入很快就会变成瓶颈。某个节点掉线、通信链路异常、任务等待超时,都可能让一次长时间训练付出重跑成本。

所以,1500余步无中断的价值,不只是“这批910C能跑”。它说明这套训练平台至少在资源调度、异常发现、任务恢复、日志定位上做了足够多的准备。对企业用户来说,这部分能力往往不会写在采购清单第一行,却会决定项目最后能不能交付。

CANN适配不是改几行代码

从CUDA迁移到CANN,很多团队一开始会低估成本。模型代码能启动,只是第一关;真正耗时间的,常常是算子、显存、通信和性能调优。

昇腾体系下,CANN承担底层异构计算能力的衔接。模型越大,问题越容易被放大:某些算子效率不够,MFU会掉;显存管理不细,训练会被碎片拖住;并行策略没调好,卡与卡之间就在相互等待。

这也是为什么MFU超过30%值得单独拿出来看。它不是单卡跑分,也不是Demo截图,而是大规模训练中的实际利用率。千卡集群里,哪怕硬件都在机房,软件栈没有调顺,算力也可能变成排队、同步和空转。

对开发团队来说,CANN的成本主要体现在三件事:已有PyTorch或TensorFlow工程要适配;关键算子可能要重新优化;训练过程中需要持续观察性能瓶颈。没有足够的工程人力,只看芯片参数,很容易误判投入。

供应链压力下,稳定性更像硬指标

九方智投文章提到,2025年5月13日,美国商务部宣布撤销拜登政府2025年初发布的《人工智能扩散规则》,同时BIS发布三份指导文件,加强对海外AI芯片出口管控。在这样的背景下,国产AI算力的可获得性和可持续运维能力,都会被放到更重要的位置。

控制网相关报道标题中也提到,华为昇腾910C AI芯片在2025年5月开启大规模供货。供货是一层,能不能形成稳定训练平台是另一层。对于训练大模型的机构来说,卡到位之后,还要考虑机房、电力、散热、网络、软件版本、驱动、框架适配和运维值守。

这笔账不小,也很难用单价解释清楚。

高校、科研机构和算力平台联合推进这类项目,有一个现实好处:可以把调度策略、故障处理经验、CANN适配经验先沉淀下来。之后企业再接入,面对的就不只是裸硬件,而是一套被训练任务验证过的工程路径。

买卡之前,先算人和时间

如果一家企业正在评估昇腾910C集群,问题不该只停在“有没有卡”。更实际的问法是:现有模型代码迁移到CANN要多久?团队有没有人能看懂底层报错?训练中断后,检查点和恢复流程是否可靠?出现性能掉点,谁来定位是算子、通信还是调度问题?

DeepSeek-V4-Pro这次全参数后训练给出的信号很明确:国产算力已经能支撑1.6万亿参数级别的大模型训练。但它同时也提醒开发者,跑通背后有一整套运维成本。

“零中断”听起来像结果,实际上是工程能力的汇总。对真正要落地训练任务的团队来说,昇腾910C的采购账只是第一页,CANN适配、集群监控、故障恢复和长期运维,才是后面更长的账本。

相关阅读