AI 纪元 追踪人工智能最新进展,深度解读前沿技术

H20受限后,国产开源模型的算账逻辑变了

2026年上半年,Qwen、Yi、GLM等模型借MoE架构将70B级推理成本压至每千Token 0.003元。配合昇腾910C与寒武纪思元590的适配,精度损失控制在1%左右,整体推理成本较H100降低约60%。实测数据显示,基于国产算力微调70B MoE模型成本已降至2000元以内,中小企业私有化部署门槛大幅降低。

0 次阅读 约 1134 字 2 分钟 AI 生成

2026年6月,随着H20出口限制进一步收紧,国内大模型的成本计算方式被彻底重写。DeepSeek V3带火的MoE(混合专家)架构,不再只是头部科技公司的炫技,而是成了行业标配的省钱利器。

数据很直观:Qwen、Yi、GLM在2026年上半年的迭代版本中,把70B参数级模型的单次推理成本压到了每千Token 0.003元。相比2025年底,降幅高达62%,而且精度损失严格控制在1%以内。对于企业来说,这意味着不用再为冗余的参数买单。

不同架构的侧重点开始分化,选型逻辑也从“拼参数”转向“拼场景”。

阿里云3月发布的Qwen2.5-MoE-57B是个典型例子。总参数57B,推理时只激活9.4B,速度是同参数稠密模型的2.3倍。它的特点是外语能力强,支持32种语言,包括东南亚和中东的12种小众语种,做跨境业务的团队用这个能省下不少多语言适配的钱。

零一万物4月推出的Yi-Lightning-MoE则更专注国内开发者生态。总参80B、激活12B,在代码生成任务上,准确率比Qwen同规格高出4.2个百分点。虽然它只支持24种语言,但对于主要写代码、做内部工具的中国开发者来说,这个性价比极高。

智谱AI 5月发布的GLM-4-MoE-110B则是长文本选手。激活参数18B,拥有128K上下文长度。在合同审核、文档摘要这类需要处理大量中文长文本的场景里,它的准确率领先前两者3.7个百分点。

模型软了,硬件也得跟上。针对H20受限后的替代方案,华为昇腾910C和寒武纪思元590的表现超出了预期。

实测数据显示,昇腾910C运行Qwen2.5-MoE-57B时,精度损失仅为0.8%。虽然比H100慢12%,但单卡采购价只有H100的32%。寒武纪思元590情况类似,精度损失1.1%,速度慢18%,采购价更是低至H100的28%。综合下来,整体推理成本能削减六成。

目前,主流开源模型的标准化微调和推理在这两款芯片上已经跑通。唯一的痛点是,如果涉及自定义CUDA算子的特殊场景,转译大概需要两周时间。但对于绝大多数中小企业的通用需求而言,这个周期完全可以接受。

对于预算敏感的中小企业,现在的选型策略可以非常务实:

通用中文场景,首选GLM-4-MoE-110B,因为API供应商多,议价空间大; 跨境小语种业务,推荐Qwen2.5-MoE-57B,多语言覆盖能让成本比海外模型低70%; 代码类应用,优先考虑Yi-Lightning-MoE,能显著降低后期微调成本。

值得注意的是,若需要进行少量定制,基于国产算力卡微调70B MoE模型的成本已降至2000元以内,较2025年下降了80%。这让中小团队也能轻松负担私有化部署,不再被高昂的算力账单绑架。

相关阅读