国产AI芯片最近确实热。
第一财经在2025年5月28日的报道里提到,DeepSeek对训练算力资源的节约,并没有让整体算力需求减少,需求反而更多涌向模型推理。钛媒体也提到,字节采购相关消息传出当天,天数智芯港股股价一度拉升近15%;6月30日盘中,寒武纪市值突破1万亿元。百度旗下AI芯片公司昆仑芯计划赴港上市的消息,也让市场继续升温。
这些信号容易让中小企业产生一个判断:既然国产卡热起来了,价格也比部分海外高端卡友好,是不是应该尽快买一批,自己搭私有算力池?
这个决定最好别太快。
买卡便宜,不等于用起来便宜
AI芯片的价值,最后要落到模型能不能稳定跑、延迟能不能接受、故障能不能定位。硬件采购只是第一笔账。
东方财富证券研报《国产AI芯片的创业裂变》提到,AI大模型对计算、存储、网络等基础设施都有依赖。也就是说,企业买到的不是一张孤立的卡,而是一整套工程系统。机房、电力、网络、调度、监控、模型部署、版本升级,都要有人管。
对中小企业来说,最容易被低估的是软件适配。很多团队原本的模型、框架和推理服务都围绕成熟GPU环境搭建。切到国产芯片后,算子、编译工具、模型格式、推理框架都可能需要重新适配。问题不一定出在芯片性能本身,而是出在“原来能跑的东西,现在要花多少人力才能跑稳”。
如果公司只有一个小型算法团队,业务还在验证阶段,把工程师抽去做底层迁移,机会成本很高。最后省下的硬件钱,可能被适配、排障和运维时间吃掉。
推理需求上来后,稳定性比峰值更要命
现在算力需求正在从训练扩散到推理。第一财经那篇报道的重点就在这里:数据中心建设热潮下,算力需求变化和年初部分业内预期并不一样,DeepSeek并没有让整体需求降下来。
推理业务和训练业务的压力不太一样。训练可以排队,可以分批,可以接受较长任务周期;推理往往直接面对用户请求。一次超时、一次返回异常,影响的就是产品体验。
这也是中小企业自建算力时要算清楚的地方。私有算力池看起来更可控,但只要并发上来,就要处理排队、限流、重试、降级、监控告警、故障切换。多Agent应用更明显:一个环节超时,后面的任务链路可能一起受影响。算力本身只是底座,真正麻烦的是把底座变成可用服务。
MaaS模式的好处在这里会变得明显。按量调用看起来单价未必最低,但云厂商已经把一部分调度、扩容、容灾和模型服务能力打包进去了。对调用量不稳定、产品还没定型的团队来说,这笔账通常比一次性买卡更容易控制。
哪些企业适合先上国产私有算力
国产芯片当然有自己的位置。
Supplyframe四方维在关于AI芯片变化的文章中提到,2024年多模态AI模型、小语言模型、端侧和边缘侧算力需求都在推动行业变化,算力价格松动也降低了中小企业和开发者尝试AI的门槛。Arm中国区业务全球副总裁邹挺也谈到,多模态AI模型和小语言模型正在迅速演进。
这类变化会带来一些适合本地部署的场景。比如数据不能出域的工业、政企、医疗、金融内部系统;比如任务类型比较固定,模型更新频率不高;比如企业已经有机房、运维团队和长期稳定的推理需求。此时采购国产芯片,配合本地模型和私有数据,确实有成本和合规上的考虑。
但如果业务还在找PMF,日调用量波动很大,模型频繁更换,团队也没有底层适配经验,直接买卡就偏重了。更稳的路径是先用MaaS把产品跑通,确认用户真的需要,再评估是否把部分能力迁回本地。
更现实的做法:先轻后重
中小企业可以把算力决策拆成三步。
第一步,用MaaS或云上模型服务做原型。先验证业务逻辑、用户需求和调用规模。这个阶段不要急着优化到极致,重点是确认“这个AI功能值不值得继续投钱”。
第二步,记录真实调用数据。包括峰值并发、平均延迟、失败率、单次调用成本、模型切换频率。没有这些数据,就很难判断私有化部署到底能不能省钱。
第三步,再考虑混合架构。敏感数据、稳定任务、长期高频请求,可以逐步放到私有算力;波动大的请求、临时实验、高并发溢出,继续放在公有云或MaaS上。这样既保留国产芯片的本地部署价值,也避免一次性押注过重。
国产AI芯片升温,对企业是好事。可选项变多,议价空间变大,长期看也有利于本土算力供应。但对中小企业来说,买卡不是表态,也不是跟风投资。它是一笔工程账、现金流账和风险账。
真正该问的不是“国产卡能不能买”,而是:你的业务现在是否已经稳定到值得为它建一套算力系统。