昇腾910C混部，先看显存和尾延迟

昇腾910C进入更多智算中心后，运维团队迟早会碰到一个具体问题：训练任务和推理服务，能不能放在同一套集群里跑？

从成本账看，答案很容易写。训练有周期，推理有流量高低峰，两边错开用，卡的利用率会更好看。但生产环境不按表格运行。训练要大块连续显存、稳定通信和低抖动；推理更怕并发上来后的尾延迟，也更依赖快速扩缩容。两类任务混在一起，平均利用率上去了，稳定性未必跟着上去。

民生证券研究院引用《昇腾计算产业发展白皮书》提到，从2012年开始的6年中，AI计算需求增加了30万倍；IDC测算显示，2021年中国智能算力规模达到155.2 EFLOPS。算力需求被不断推高，集群被要求承担更多任务，这个背景很明确。但混部不是把任务塞满机器，真正难的是资源被挤压后的表现。

OOM 往往不是“卡不够”

混部故障里，OOM 很常见。表面看是显存不够，继续拆下去，问题常常在显存分配。

训练任务启动时，要加载模型权重、梯度状态和优化器状态，通常需要较大的连续显存空间。推理服务的模式不一样：请求批次会变，副本会扩缩，显存申请和释放更频繁。跑得久了，空闲显存可能还在，但已经被切得比较碎，训练任务要的大块空间反而拿不到。

所以，昇腾910C做混部稳定性测试，单看“显存使用率”不够。更值得盯的是几件事：训练启动阶段是否稳定；长时间运行后是否出现难复现的 OOM；推理服务扩容、缩容之后，训练任务失败率有没有变化。

如果集群使用 CANN、MindSpore 等软件栈，显存池策略、预分配策略、任务退出后的释放情况，也要单独看。混部最麻烦的故障，往往不是第一小时就炸，而是跑了几天才暴露。

通信看平均值，容易误判

训练任务的通信压力集中在集体通信，比如 All-Reduce。推理服务的通信更碎，常见的是小包、高频、低时延请求。两类流量共享网络时，最先让业务感到异常的未必是峰值带宽，而是尾部延迟。

华为在2025年全联接大会相关演讲中提到，DeepSeek带来用户和流量增长后，华为云从春节开始到4月30日持续协同作战，最终使 Ascend 910B/910C 的推理能力达成客户基本需求。这个信息说明，推理能力不是参数表上的单点指标，而是在真实流量、真实模型和真实服务链路里调出来的。

放到混部场景，HCCL 等通信组件不能只看平均耗时。平均值看起来正常，P99 抖动很大，训练 step time 仍然会被拉长；推理平均响应没问题，尾延迟上去，线上体验一样会报警。

稳定性测试至少要覆盖 HCCL 集体通信耗时分布、推理服务 P99 延迟、训练 step time 波动、跨节点通信失败和重试记录。只跑纯训练，或只跑纯推理，都看不出混部的真实干扰。更接近生产的做法，是把两类任务按线上比例压在一起跑。

调度规则别等报警后再补

混部不能让所有任务自由抢资源。调度边界太粗，训练和推理会互相影响，最后运维只能靠人工迁移救火。

比较稳的做法，是先给训练任务留清楚边界。训练使用固定卡组，显存尽量预分配，通信路径尽量靠近高速互联节点；推理服务按等级拆分，核心在线服务不要直接和大规模训练任务抢同一组资源。

这些规则未必复杂，但要在上线前写进调度策略。线上 OOM 或延迟报警之后再临时调整，成本会高很多。多团队共用集群时尤其如此：算法团队看到的是任务排队，运维团队看到的是资源水位，如果没有统一标签和优先级，混部很快会变成抢卡。

《HW昇腾专家调研纪要20240810》提到，昇腾910系列当年对外总出货量约为35万片，其中运营商需求预计15万至17万片，互联网厂商约12万片，超算项目约7万至8万片；华为自身还有约10万片需求。无论这些预期最终如何落地，一个现实问题已经摆在集群管理者面前：使用方会变多，任务类型也会更杂。调度如果还停在“谁先提交谁排队”，后面很难维护。

监控要能看到碎片、队列和尾延迟

传统监控喜欢看 CPU、内存、卡利用率。到了昇腾910C混部环境，这些指标仍然要看，但远远不够。

显存侧，至少要看到显存分配失败次数、任务退出后的释放情况、长时间运行后的碎片化变化。通信侧，要看 HCCL 关键操作耗时、节点间链路异常、重试和超时。推理侧，P99 延迟比平均延迟更敏感；训练侧，step time 抖动比单次吞吐更能反映混部干扰。

还有一个指标常被低估：任务迁移和重启成本。

混部环境下，故障恢复不是“把任务重新拉起来”这么简单。大模型训练任务重启可能涉及检查点加载、通信组重建、显存重新分配；推理服务重启则会影响流量调度和冷启动时间。这些都应该进入稳定性测试，而不是上线后靠经验补文档。

公开案例只能当参照

可引用素材中有一条 YouTube 视频信息称，2026年6月5日，华为联合多家科研机构，使用1000颗昇腾910C芯片完成1.6万亿参数 DeepSeek-V4-Pro 全参数后训练，训练稳定运行超过1500步，算子效率提升14%。如果该信息属实，它能说明昇腾910C在大模型训练适配上有进展。

但企业做混部，不能把公开案例直接搬成自己的结论。模型不同、框架版本不同、网络拓扑不同、推理流量不同，结果都会变。公开案例可以看方向，不能替代自己的压测。

昇腾910C混部测试更应该回答这些问题：训练连续运行时，推理 P99 能不能守住；推理扩容时，训练 step time 是否明显抖动；某个节点异常后，任务迁移会不会放大故障；显存碎片积累之后，系统有没有自动处理办法。

国产算力进入生产环境后，判断标准会变得更工程化。芯片能跑通模型是第一关；训练和推理能不能在同一套集群里长期共存，才真正考验运维、调度和软件栈。

参考来源：

• 民生证券研究院：《华为昇腾：国产AI算力“扛旗者”》
• 发现报告：《HW昇腾专家调研纪要20240810》
• 华为：《以开创的超节点互联技术，引领AI基础设施新范式》
• YouTube 视频：《万亿参数模型顺利运行！国产算力迎来里程碑，行业格局彻底改变》