2026年6月，DeepSeek-V3的API价格降到0.5元每百万token，Qwen2.5-72B的开源权重下载量超过200万次。同时，Meta的Llama 4在多项测试中逼近GPT-4o，阿里Qwen2.5在代码生成上也能叫板Claude 3.5。闭源降价、开源进化，租API还是自建模型，需要重新算账。《大模型性价比临界点》指出开源权重正在“吞噬”闭源溢价，但选择不止看价格。
算笔账：API和自建，差多少？
以日均百万请求的对话业务为例，每请求约2000 token。调用GPT-4o mini，按官方价0.15美元/百万token，年账单约109万美元（近780万元）。实际通过缓存和批处理，许多团队能将支出压到300万元左右。若自建集群部署Llama 4 70B，需要8张A100 80GB，硬件一次性投入约30万元，加上电费、带宽、运维，年运营成本可控制在17万元以内。第二年起硬件摊销后更低。相比之下，API方案年支出约365万元，自建仅需17万——差距超过20倍。
但自建门槛明显。算力利用率是关键：请求量波动大时，集群闲置会拉高单次成本。技术团队至少需要2~3名算法工程师和1名运维，负责模型部署、推理优化和系统维护。API即调即用，零运维负担。
合规压力：私有化成为必选项
欧盟AI法案将于2026年8月全面执法，高风险系统必须满足人类监督和数据主权要求。使用API将数据传至境外可能违规。国内金融、医疗行业同样受《个人信息保护法》约束，私有化部署几乎是硬需求。但私有化不等于绝对安全。今年5月，一家企业AI报销Agent因护栏缺失被PS发票骗走120万元——本地部署仍需做好安全防护。
芯片选项：国产方案划算吗？
自建硬件选型，国产芯片提供了低成本路径。昇腾910C推理吞吐接近A100的83%，但首字延迟是A100的3倍。如果业务对首字延迟不敏感，国产方案能大幅压低硬件成本。此外，RISC-V AI芯片在每瓦性能上优于ARM，适合推理密集型场景。不过算子补齐和通信调优仍是技术深坑，迁移前务必做POC验证。
按业务量级对号入座
- 日均请求<10万：直接调用API，GPT-4o mini或DeepSeek-V3即可。
- 10万~100万+数据低敏感：API仍可行，可通过缓存和长连接优化成本。
- 10万~100万+数据高敏感或合规要求：私有化部署开源模型（Qwen2.5-72B或Llama 4），并考虑国产芯片。
100万或已有闲置算力：自建集群长期成本优势明显，API差价超过维护费用。
很多企业也会采用混合方案：核心业务私有化，长尾流量走API。
持续算账，别听故事
开源模型没有被大厂抛弃——Meta、阿里、DeepSeek正通过开源策略不断增强自身影响力。真正容易被淘汰的，是盲目跟风任何一边的决策。随着Llama 4.1等新模型和国产芯片成熟，成本曲线还会变化。企业需要持续做数学题，而不是听故事。
