一家估值200亿美元的AI公司,去年底拿到了华为昇腾910C样片。单卡训练吞吐接近H100的85%,推理甚至能反超。但组起1000卡集群后,实际训练速度只有预期67%——效率折了三成。
多位工程师反馈,这不是偶发,910C在千卡规模普遍遇到通信瓶颈,CANN算子覆盖也不够。
带宽差了一个量级:910C的HCCS带宽100GB/s,H100的NVLink 4.0是900GB/s。千卡集群跨节点通信多,910C延迟是H100的2-3倍。某数据中心实测,在GPT-3 175B训练中,910C集群的MFU仅28%,H100为35%以上。换算下来,1000卡910C只有约700卡H100的算力。
软件迁移更耗人。CANN 8.0迭代快,但PyTorch下的混合精度、FlashAttention等关键算子仍有缺或不兼容。那家AI公司花了3个月才跑通GPT-3代码,部分算子手写。另一家云服务商透露,工程师花了近三周做适配和调优,这笔账在采购预算里看不到。
再看英伟达下一代Blackwell Ultra(B300),FP8算力30 PFLOPS,训练性能是H100的2.3倍。但HBM4封装良率不佳,美光和三星的HBM4e供应不稳。根据英伟达Q1财报指引,Blackwell出货未达预期,多数订单Q4交付,规模交付可能要2027年Q1。下半年必须上线的项目等不了。
算总账:910C单卡价约H100的三分之二,但千卡需要多配30%卡补效率损失,加上能耗和软件迁移人力,三年TCO并不便宜。推理场景则是910C的强项,单卡吞吐2300 Tokens/s,功耗低,性价比高。寒武纪思元590在2026年Q1盈利1.79亿元(据《AI财报季》),其千卡推理方案成本更低,已进入部分互联网公司。
下半年选型分三个场景:
受出口管制、拿不到H100/H200的企业:训练上910C集群,但需留至少半年迁移期、组建算子定制团队。推理可直接上910C,单卡性价比高。若追求极致推理成本,可考虑寒武纪思元590。
非受限且预算充足的企业:等待Blackwell Ultra并提前预订。时间紧则用H200或H100过渡。H200目前仍有余量,单卡性能较H100提升1.7倍,软件生态兼容。
混合部署:训练用Blackwell Ultra或H100,推理用国产芯片降低成本。某大模型公司通过vLLM统一调度,推理成本降了40%以上。
芯片选型没有银弹。910C的千卡效率短期难解,但在推理和受限场景仍有价值。Blackwell Ultra性能强但交付迟。企业需要根据软件栈、时间窗口和合规要求做权衡。算力缺口仍在,填坑的工具决定成本曲线。