采购价只占第一行。昇腾910C与H200同时进入一套业务系统后,后面紧跟着自定义算子、数值对齐、通信调优、流量预热、监控和回滚。
原始记录给出了几组醒目的数字:迁移周期20天,MFU目标78%,通信受阻时低于40%。这些数据能帮助团队估预算,但使用前必须先看测试边界。
数据说明:20天迁移周期来自原稿援引的《把PyTorch模型搬上昇腾910C,20天都花在哪了》;其余结果标注为2026年6月至7月实际测试与行业调研。现有素材没有附上节点数量、模型参数量、批大小、网络拓扑、测试脚本和原始日志,因此下述数字只按项目记录解读,不作为昇腾910C或H200的通用性能结论。
这套“混合”其实是两个资源池
原方案把昇腾910C主要放在训练侧,承担LLM微调、推荐模型预训练和批量推理;H200继续处理高并发、低延迟的在线任务,包括电商搜索排序和实时风控评分。
这样的混部更接近业务分工,不应理解为两种卡在同一个训练任务中无差别并行。昇腾侧使用HCCL,英伟达侧使用NCCL,驱动、工具链、通信库和监控体系也要分别维护。模型、特征和请求一旦频繁跨越资源池,调度成本就会进入延迟账单。
原始压测把MFU目标设为78%。在高负载测试中,通信瓶颈曾让MFU跌到40%以下。这里真正要查的并非峰值算力,而是数据在哪个环节跨池、等待时间有多长,以及故障后能否快速回退。
20天主要花在算子和数值对齐
测试记录中的VL-Mamba模型已在PyTorch上训练半年,迁移到昇腾910C平均用了20天。耗时较多的工作包括Ascend C算子重写、调试以及数值对齐。金融风控模型包含大量非标准特征交叉逻辑,原稿给出的自定义算子开发占比超过30%。
这意味着迁移排期不能只按模型文件和代码量估算。立项前至少要列清自定义算子、精度基线和回归用例。否则,20天很容易变成一个缺少复用价值的救火周期:代码勉强运行,下一次模型升级还要重新处理。
双栈运维也要单独计价。原稿估算,两套驱动、工具链和监控体系会让人力成本增加约15%-20%。由于没有团队规模和工时记录,这个比例更适合放进预算敏感性分析,不能直接套到所有项目上。
两组压测,先看数字的适用范围
| 场景 | 原始测试口径 | 记录结果 | 使用时要注意什么 |
|---|---|---|---|
| 金融风控 | LightGBM与DeepFM混合模型,峰值50万TPS | MindSpore优化后,昇腾910C单卡推理延迟稳定在8ms以内;原稿称较纯H200集群降低约12%;H200向910C迁移负载需要约45秒预热 | 单卡与集群的比较口径并不完全一致。12%的差值需要在相同模型、精度、批大小和并发下复测。若45秒预热能够复现,就不能把临时切换当作毫秒级风控的弹性方案 |
| 电商推荐 | Multi-Tower模型,峰值10万QPS | 每周全量重训成本为原H200集群的60%;在线推理出现0.5ms抖动 | 训练成本与在线体验属于两套指标。60%的统计范围没有展开,0.5ms是否影响业务还需结合链路和A/B测试验证 |
金融风控这组数据反映了两个问题。稳定状态下,昇腾910C的批量推理可以获得较低延迟;突发流量到来时,跨资源池切换仍有45秒预热。对实时风控来说,后一个数字往往更关键。平均延迟再低,也无法覆盖尚未准备好的算力。
电商推荐同样要把离线和在线拆开看。原稿把0.5ms抖动进一步外推到百万级QPS,并估算转化率下降0.1%-0.2%,但前文测试峰值是10万QPS,也没有提供转化率实验来源。这一推导不宜作为压测结论。现有记录能够确认的是:依赖H200原生CUDA算子的长尾用户行为特征提取,在混部后出现了0.5ms抖动,需要单独复测。
5000P拐点先当作预算假设
原稿把混合集群的ROI拐点放在5000P(FP16):低于这一规模,双栈维护成本可能高于收益;高于这一规模,硬件和电力节省开始覆盖迁移支出。
这个判断依赖四项输入:
- 昇腾910C单价约为H200的70%-80%,具体受渠道和政策影响;
- 专职迁移与调优团队每年预算约200万至300万元;
- 双栈运维带来约15%-20%的人力增量;
- 采用英维克液冷方案后,原稿估算电费可节省约10%-15%。
现有素材没有采购报价、团队配置、机房PUE基线和电费记录,这些数字只能作为原项目的测算参数。任何一项发生变化,5000P这个拐点都会移动。
更稳妥的算法,是把年度总成本拆成硬件采购与折旧、电力和机房、迁移人力、双栈运维,以及切换期间的业务成本。只比较两种卡的采购价,很容易漏掉20天迁移、通信调优和45秒预热对应的支出。
上线顺序比一次性切换更重要
更可控的做法,是先迁移边界清楚的离线训练和批量推理,让H200继续承载高并发、低延迟的在线链路。随后再处理自定义算子较多、依赖CUDA或需要频繁跨池的模型。
金融风控侧,在45秒预热问题解决并复测前,不宜把H200向910C动态迁移写进容灾承诺。电商侧应在当前10万QPS口径下复测0.5ms抖动,确认长尾特征提取的影响,再决定是否扩大在线流量。
现有记录能支持的判断很窄:混部可能降低部分训练成本,也会增加算子迁移、通信调优和双栈运维支出。8ms、78%和5000P都需要放回同一套测试配置中复测,之后才适合进入采购或上线决策。