上周华强北的测试实验室里，一份边角被汗水浸皱的报告摆在了桌面上。华为昇腾 910C 和寒武纪 2026 年 3 月发布的思元 590，到底能不能接住主流大模型的迁移？我们跑了 Llama 3.3 70B 和 Qwen 2.5 72B 的全流程微调与推理，直接看数据。
全精度微调下，两款卡的精度损失控制在 1% 以内。但速度确实有折损。以 8 卡集群跑 Llama 3.3 70B 为例，耗时比同规模 H100 集群慢 9%-14%。昇腾 910C 单卡显存占用 88GB，跑完 10 个 epoch 用了 12 小时 17 分，MMLU 得分 82.7（H100 为 83.1）；寒武纪思元 590 显存占 76GB，耗时 11 小时 42 分，MMLU 得分 81.9。
换成 MoE 架构的 Qwen 2.5 72B，生态差异立刻显现。昇腾的 CANN 算子库适配较成熟，推理延迟仅比 H100 高 7%。寒武纪直到 2026 年 6 月才通过 BANG 算子库完全支持 Qwen 2.5 的专家并行逻辑——此前用 2.1 版本尝试时会直接显存溢出，更新后延迟依然高出 H100 18%，尽管显存优势还在。
速度慢一点，电费和维护成本会相应增加，但硬件采购价的优势太大。单卡采购成本仅为 H100 的 37%-43%。综合电费、运维及时间折损，单月 TCO 能降低约六成。
这种成本结构正在改变中小团队的决策。深圳一家 AI 短剧团队今年 4 月把 12 张二手 A100 全部换成了昇腾 910C 集群。他们每天产生 2000 万 token 的推理量，替换后单用户推理成本从 2.3 元/千 token 降到 0.8 元，单月算力支出从 4.2 万骤降到 1.1 万。另一家视频生成创业公司换卡后，推理成本同样下降了六成。
省钱容易，填坑难。国产卡在处理非标准工作流时，摩擦感明显。寒武纪卡运行自定义 CUDA 算子，需经过转译层转换为 BANG 指令，性能损失可达 12%。一位做自动盯盘系统的个人开发者踩了坑：他编写的自定义量化算子在寒武纪卡上重跑了三次才通，前后耗费近两周。
跨节点集合通信延迟也是短板。昇腾在此项指标上比 H100 高 12%。千亿参数以上的预训练任务会放大这个差距，但 70B 以下的微调和推理，实际感知并不强烈。
截至 2026 年 6 月，PyTorch 对昇腾的官方支持已至 2.3 版本，覆盖 92% 主流算子；寒武纪 BANG 生态覆盖率为 87%。如果业务高度依赖小众视觉、语音算子或闭源模型 API，转译层的损耗很可能抵消硬件带来的成本红利。
依赖开源模型做标准化微调和推理的中小团队，目前的技术成熟度已足以替换 80% 的 H100 场景，成本减半，不用等。但如果涉及前沿模型预训练，或者深度绑定 CUDA 自研算子，建议再观望 6 个月到一年，等算子生态进一步收敛再做激进替换。
