AI 纪元 追踪人工智能最新进展,深度解读前沿技术

昇腾910D对比B200:这笔推理成本账还缺什么

公开素材尚不足以算出910D与B200的可信成本差值。采购价、实测吞吐、整机功耗和迁移工时缺一不可。更稳妥的办法,是把这些投入统一折算到每百万有效输出Token,再判断国产方案能否摊平适配成本。

0 次阅读 约 2065 字 4 分钟 AI 生成

把昇腾910D和NVIDIA B200放在一张表里,最容易出现的假精确,是给硬件、能耗、适配分别标成“高”“中”“低”,然后宣布谁更划算。现有可引用素材撑不起这样的结论。

缺的恰恰是决定结果的数据:两款产品在同一模型、同一精度、同一批量和同一上下文长度下的实测吞吐,服务器侧功耗、实际成交价,以及从CUDA迁移到CANN所需的工程工时。在这些数据补齐前,推理成本只能讨论计算方法,不能提前写出胜负。

能核实的数字,暂时算不到910D头上

品玩对昇腾910商用发布的报道显示,昇腾910的FP16算力为256 TFLOPS,INT8算力为512 TOPS,芯片最大功耗为310W,同时发布的还有MindSpore。这些数字属于昇腾910,不能直接替代910D的参数,更不能拿来与B200做集群成本换算。

民生证券的行业研究引用《昇腾计算产业发展白皮书》称,从2012年开始的6年中,AI计算需求增加了30万倍;报告同时援引IDC测算,2021年中国智能算力规模达到155.2 EFLOPS。这组数据能说明智能算力需求在扩张,却回答不了哪款芯片的单次推理成本更低。

一份机构信息未明确的《HW昇腾专家调研纪要20240810》预计,昇腾910系列当年对外出货约35万片,总产能约45万片。它可以作为观察供需的线索,但纪要中的出货预期不等于成交价格、交付能力或推理性能。

目前给出的材料中,也没有B200的实际报价、服务器配置和生产环境测试结果。因此,任何具体的成本百分比、回收周期或请求量门槛,都缺少可复核的依据。

推理账要落到“有效输出”上

企业采购推理集群,应该比较每百万有效输出Token的成本。这里的“有效”,指输出质量、延迟和服务成功率均达到业务要求。未达标的吞吐不能计入分母。

可以采用下面这套口径:

每百万有效输出Token成本 =(设备折旧 + 电力与散热 + 迁移适配 + 运维支持)÷ 达标输出Token数 × 1,000,000

真正需要采集的数据包括:

账目 必须拿到的数据 容易算错的地方
设备投入 服务器实际成交价、网络与存储配置、保修及交付条件 用单卡报价代替完整集群价格
有效产出 同一模型下的达标吞吐、首Token延迟、持续服务成功率 用FP16或FP8峰值算力推算Token产出
电力与散热 实际负载下的服务器功耗、机柜及制冷用电 只比较芯片标称功耗
迁移适配 代码改动、算子替换、精度验证和调优工时 把“模型跑通”当成生产可用
日常运维 故障恢复、版本升级、监控接入和厂商支持 默认两套软件栈的维护成本相同

这张表里,任何一项使用估算值,都应该标明假设。否则算出来的每百万Token成本只是报价表的延伸,并非生产环境TCO。

B200的账,重点在软件延续性

B200一侧最有分量的成本项,是CUDA和PyTorch工作流的延续性。企业已有的代码、算子、监控工具和工程经验能够继续使用,迁移与排障投入通常更容易控制。模型更换频繁、上线周期紧时,这部分价值可能比硬件价差更重要。

但软件延续性也不能直接等同于更低TCO。B200仍需用实际采购价、达标吞吐和服务器侧功耗接受检验。没有这些输入,仅凭单卡性能无法判断集群最终需要多少节点,更算不出每百万Token的成本。

910D的账,要把适配过程摊开

昇腾910D的测算不能只写采购价格。采用CANN、MindSpore或torch_npu路径时,团队需要记录算子适配、精度校验、性能调优和故障定位所消耗的工时。

测试也不能停在模型能够启动。长上下文下的内存占用、多卡通信、长尾请求延迟、日志与监控接入,都应放进生产流量回放中验证。哪一项需要持续人工维护,哪一项可以在后续项目中复用,会直接改变迁移成本的摊销结果。

如果模型长期稳定,团队又具备维护CANN软件栈的能力,前期投入可以分摊到更长的运行周期。若模型频繁更新,反复出现算子和版本适配,省下的设备投入也可能被工程成本吃掉。

规模只会放大差异,不会自动给出答案

910D的成本临界点可以写成一个简单条件:

B200方案较高的设备与运行成本 > 910D新增的迁移、运维及产能成本

只有这个条件成立,910D的综合成本才更低。这里的产能成本,需要根据实测吞吐、稳定性和延迟差异换算,不能预设某一方必然占优。

规模扩大后,固定迁移成本确实更容易被摊薄;与此同时,吞吐、能耗和故障恢复上的差异也会同步放大。所以,不能笼统地写成“请求量达到某个门槛就应该选择昇腾”。临界点属于具体业务,不属于某个通用RPS数字。

现有证据能支持的判断很窄:已有大量CUDA资产、模型变化频繁的团队,应把软件延续性放在更高权重;业务负载稳定、有国产化要求并具备适配团队的企业,可以把910D纳入实测。双方都要使用同一模型、同一服务目标和真实报价,最终折算到每百万有效输出Token。

缺少这些数据时,把B200写成“高成本”、把910D写成“中成本”,表达的是立场,不是TCO测算。

相关阅读

A detailed view of a complex circuit board with distinct pathways merging, symbolizing software migration and hardware integration challenges in AI computing. 前沿研究
0 阅读

910D和海光DCU,先比迁移账

国产算力选型已经不只看峰值性能。昇腾继续加速云服务和CANN软件栈,海光DCU常被放进CUDA迁移方案里比较。对中小团队来说,真正要算的是代码改造、算子适配、上线周期和长期维护。

阅读全文