把昇腾910D和NVIDIA B200放在一张表里,最容易出现的假精确,是给硬件、能耗、适配分别标成“高”“中”“低”,然后宣布谁更划算。现有可引用素材撑不起这样的结论。
缺的恰恰是决定结果的数据:两款产品在同一模型、同一精度、同一批量和同一上下文长度下的实测吞吐,服务器侧功耗、实际成交价,以及从CUDA迁移到CANN所需的工程工时。在这些数据补齐前,推理成本只能讨论计算方法,不能提前写出胜负。
能核实的数字,暂时算不到910D头上
品玩对昇腾910商用发布的报道显示,昇腾910的FP16算力为256 TFLOPS,INT8算力为512 TOPS,芯片最大功耗为310W,同时发布的还有MindSpore。这些数字属于昇腾910,不能直接替代910D的参数,更不能拿来与B200做集群成本换算。
民生证券的行业研究引用《昇腾计算产业发展白皮书》称,从2012年开始的6年中,AI计算需求增加了30万倍;报告同时援引IDC测算,2021年中国智能算力规模达到155.2 EFLOPS。这组数据能说明智能算力需求在扩张,却回答不了哪款芯片的单次推理成本更低。
一份机构信息未明确的《HW昇腾专家调研纪要20240810》预计,昇腾910系列当年对外出货约35万片,总产能约45万片。它可以作为观察供需的线索,但纪要中的出货预期不等于成交价格、交付能力或推理性能。
目前给出的材料中,也没有B200的实际报价、服务器配置和生产环境测试结果。因此,任何具体的成本百分比、回收周期或请求量门槛,都缺少可复核的依据。
推理账要落到“有效输出”上
企业采购推理集群,应该比较每百万有效输出Token的成本。这里的“有效”,指输出质量、延迟和服务成功率均达到业务要求。未达标的吞吐不能计入分母。
可以采用下面这套口径:
每百万有效输出Token成本 =(设备折旧 + 电力与散热 + 迁移适配 + 运维支持)÷ 达标输出Token数 × 1,000,000
真正需要采集的数据包括:
| 账目 | 必须拿到的数据 | 容易算错的地方 |
|---|---|---|
| 设备投入 | 服务器实际成交价、网络与存储配置、保修及交付条件 | 用单卡报价代替完整集群价格 |
| 有效产出 | 同一模型下的达标吞吐、首Token延迟、持续服务成功率 | 用FP16或FP8峰值算力推算Token产出 |
| 电力与散热 | 实际负载下的服务器功耗、机柜及制冷用电 | 只比较芯片标称功耗 |
| 迁移适配 | 代码改动、算子替换、精度验证和调优工时 | 把“模型跑通”当成生产可用 |
| 日常运维 | 故障恢复、版本升级、监控接入和厂商支持 | 默认两套软件栈的维护成本相同 |
这张表里,任何一项使用估算值,都应该标明假设。否则算出来的每百万Token成本只是报价表的延伸,并非生产环境TCO。
B200的账,重点在软件延续性
B200一侧最有分量的成本项,是CUDA和PyTorch工作流的延续性。企业已有的代码、算子、监控工具和工程经验能够继续使用,迁移与排障投入通常更容易控制。模型更换频繁、上线周期紧时,这部分价值可能比硬件价差更重要。
但软件延续性也不能直接等同于更低TCO。B200仍需用实际采购价、达标吞吐和服务器侧功耗接受检验。没有这些输入,仅凭单卡性能无法判断集群最终需要多少节点,更算不出每百万Token的成本。
910D的账,要把适配过程摊开
昇腾910D的测算不能只写采购价格。采用CANN、MindSpore或torch_npu路径时,团队需要记录算子适配、精度校验、性能调优和故障定位所消耗的工时。
测试也不能停在模型能够启动。长上下文下的内存占用、多卡通信、长尾请求延迟、日志与监控接入,都应放进生产流量回放中验证。哪一项需要持续人工维护,哪一项可以在后续项目中复用,会直接改变迁移成本的摊销结果。
如果模型长期稳定,团队又具备维护CANN软件栈的能力,前期投入可以分摊到更长的运行周期。若模型频繁更新,反复出现算子和版本适配,省下的设备投入也可能被工程成本吃掉。
规模只会放大差异,不会自动给出答案
910D的成本临界点可以写成一个简单条件:
B200方案较高的设备与运行成本 > 910D新增的迁移、运维及产能成本
只有这个条件成立,910D的综合成本才更低。这里的产能成本,需要根据实测吞吐、稳定性和延迟差异换算,不能预设某一方必然占优。
规模扩大后,固定迁移成本确实更容易被摊薄;与此同时,吞吐、能耗和故障恢复上的差异也会同步放大。所以,不能笼统地写成“请求量达到某个门槛就应该选择昇腾”。临界点属于具体业务,不属于某个通用RPS数字。
现有证据能支持的判断很窄:已有大量CUDA资产、模型变化频繁的团队,应把软件延续性放在更高权重;业务负载稳定、有国产化要求并具备适配团队的企业,可以把910D纳入实测。双方都要使用同一模型、同一服务目标和真实报价,最终折算到每百万有效输出Token。
缺少这些数据时,把B200写成“高成本”、把910D写成“中成本”,表达的是立场,不是TCO测算。