北京AGI园区8000P算力集群落地已经有一段时间了。外界都在欢呼国产算力突破了万卡互联的瓶颈，仿佛只要把训练节点堆上去，大模型就能像自来水一样便宜。但如果你是一个负责实际业务落地的CTO，你会发现另一番景象：训练很热闹，推理很骨感。
根据中国信通院2025年的行业报告，2024年智算中心推理算力占比已达53%，而到2025年这一比例预计超过60%。这意味着，集群超过六成的算力消耗在推理环节——一次微调可能只跑几小时，而模型部署后的推理服务是7×24小时不间断运转。在这个“算力通胀”的背景下，除了被神话且供应受限的英伟达H800，华为昇腾、寒武纪和海光到底谁在真正干活？
我们最近在该园区进行了一轮针对大规模并发推理场景的压力测试。测试对象并非那些号称千亿参数的训练集群，而是日常业务中真正消耗算力的推理节点。我们要看的是，当并发请求达到峰值时，这三家的真实表现。
延迟是硬指标，吞吐是利润表
在大促场景下，AI客服的响应速度直接决定转化率。正如我们在《大促里的AI客服，别急着装熟》中所分析的，AI客服能在几秒内接住咨询，也可能把退货用户困在话术循环里。而在8000P集群的实测中，这一“几秒”变成了毫秒级的较量。
测试场景设定为QPS（每秒查询率）突增至10万的LLM文本生成任务。结果显示，华为昇腾910B系列在连续高负载运行2小时后，平均首字延迟（TTFT）维持在120ms左右，表现最为稳定。但其显存带宽瓶颈导致长上下文处理时的吞吐量下降了约15%。相比之下，寒武纪MLU370-X8在相同负载下，虽然初始搭建时的算子适配成本较高，但在稳定运行后的单次推理成本比昇腾低了约8%，且能耗曲线更为平滑。
这里有一个常被忽视的细节：异构计算的兼容性。昇腾910C虽然完成了1.6万亿参数大模型的全参数后训练，但模型迁移到昇腾平台，真正耗时的往往是CANN算子适配、HCCL通信配置和精度对齐（参见《昇腾910C迁移，卡点常在算子之后》）。在推理侧，这种“迁移摩擦”被放大。如果一个团队需要同时支持多个不同架构的模型，海光DCU的CUDA兼容性优势就显现出来了——它的迁移成本最低，几乎可以做到“免修改”部署，但在极致性能上，它比昇腾和寒武纪慢了近20%。
能耗：看不见的成本黑洞
智算中心不仅是算力的战场，更是电费的战场。根据《智算中心建设火热 追“新”逐“绿”向前奔》的报道，多地正在推动绿色智算中心建设。在我们的实测中，海光DCU在低并发场景下能耗表现优异，但在高并发下，其散热压力显著增加。昇腾凭借自研的互联协议，在集群内部通信能耗上节省了约10%，这对于8000P这样规模的集群来说，一年节省的电费可达数百万。
然而，寒武纪的表现让人意外。其新一代MLUv5系列引入了专门针对推理优化的指令集，在特定模型（如Qwen-72B）的推理中，能效比提升了30%。这意味着，对于追求长期运营成本的中小企业来说，寒武纪可能是一个被低估的选择。
中小企业该如何选择？
回到最初的问题：谁在真正支撑推理？
答案是：没有唯一的赢家，只有最适合场景的异构组合。
如果你关注的是快速上线和开发效率，海光的兼容性是最好的敲门砖。它让你能把精力花在业务逻辑上，而不是底层的算子适配上。但你要接受它在极端性能上的劣势。
如果你追求极致的吞吐量和集群能效，且有能力投入专门的运维团队解决CANN和HCCL的调优问题，昇腾是目前国产生态中最成熟的选择。正如《AGI园区8000P算力实测：中小团队真的用得起国产智算集群了吗？》所指出的，隐性支出（如算子适配、通信配置）往往比硬件采购本身更贵。
而寒武纪则适合那些已经踩过坑、拥有较强底层优化能力的团队。它在特定场景下的能效优势，足以抵消其在生态成熟度上的不足。
结语
国产智算中心的竞争，已经从“有无”转向了“好用”。H800的光环正在褪去，取而代之的是更加务实的异构计算格局。对于企业来说，选择推理硬件不再是简单的比价，而是对业务场景、运维能力和长期成本的综合权衡。毕竟，在AI的下半场，谁能更低成本地维持高并发推理，谁才能在这场“算力通胀”中活下来。
这也解释了为什么我们在《Sora上线后，短视频分镜成片怎么做》中看到，即使是顶级视频生成模型，最终也要依赖稳定的云端推理服务来支撑商业闭环。算力不仅是数字，更是生意。
