他们不再抢显卡,而是抢"还剩多少小时"
2026年初还在为H200整卡年租金12万美元叹息的团队,到6月已经开始抱怨另一件事:整卡没人愿意单向租了,能谈下来的只有"按Token计费"或"推理时段券"这种新形态——而且低延迟的8卡H200盒子还要走内部分配。
问题出在哪儿?不是H200又贵了,而是能稳定提供推理算力的供给方,突然把算力当成了和牌照、库存一样的稀缺品——按小时配售、按信用评级配货。
从训练到推理:需求曲线拐过了 C 位
2026年以前,国产大模型花钱的逻辑几乎是写死的:找峰值算力,靠H100/H200/昇腾910C堆千卡、万卡集群,把训练跑完。那个时候租赁市场最重要的指标是"单卡月租"和"集群规模"。
到2026年中期,这个逻辑翻了过来。两条线同时在变化:
第一条线来自模型规模本身。当行业默认训练Token增长率边际放缓——参照知乎2026年Q2综述里反复出现的那个判断"顶尖能力可在一年内通过开源模型普及至消费级硬件"——重训练、轻推理的资源天平不会再被轻易挪回。
第二条线更现实。财新今年3月披露的一组数据(来自财新数据通监测)显示,国内主流大模型API服务里,单Token推理算力支出已超过训练,比例大致是8:2。这意味着同样一秒钟,原来大家拼"谁显卡多",现在拼"谁能给客户稳定的低延迟首Token响应"。
结果就是:租赁市场的报价单从"GPU型号×数量×月"变成"模型×平均上下文×QPS承诺×月"。
H200、昇腾910C:两个阵营,两种焦虑
英伟达阵营的焦虑很清楚。H200在HBM3e和FP8推理上的优势仍是事实:单卡推理吞吐量比H100高40%左右,对长上下文(128K以上)效果显著。2026年GTC后面的行业讨论延续了一个判断——OpenAI、Anthropic这样的模型公司要么把赌注压到应用现金流上,要么把赌注压到算力储备上,从1.4万亿的喊价到后面百亿级的Blackwell/H200采购承诺,逻辑没变。
但H200租赁的瓶颈也在2026年中变得明显:能在金融、医疗、政企客户SLA里签"首Token延迟<200ms、99.95%可用性"的供给方,国内一手不超过3家。租赁价格不是没降,而是分层拉得很开——二级代理能把月租压到9万美元,但合规、传输、网络都难放进生产。
昇腾910C的焦虑则在另一边。已经在做PyTorch迁移或MindSpore双轨的团队心里清楚(参见《昇腾910C适配实录:PyTorch迁移中的显存优化与算子兼容》):910C推理在FP8上的成熟度比H200落后约半年,自定义算子需要CANN层调优,集群规模也比NV阵营小一截。但它有真实的成本优势——同样7B-13B级模型的持续推理,910C的TCO对比H200能压到60-70%(具体数字依赖能耗和机房条款)。
这也解释了为什么2026上半年的智博会(北京、4月的智博会、6月的智博会延续到了RWA与AI交叉议程)上,多家本地运营方都在推"910C+H200混部":推理热路径走N,算子密集且合规约束高的热路径走910C。
推理侧的真正战场:低延迟、混合调度、与KV Cache以外
推理侧的算力之争在KV Cache普遍落地之后,已经从"显存优化"切换到下面三件事:
第一件是边缘节点的覆盖。一位模型平台的架构师在私下交流里说过一句直白的话:"我们现在最缺的不是算力,是能在二线城市做的、合规可用的高吞吐边缘节点,1毫秒以内的那种。"
这类节点对应的硬件,往往不是H200,而是48GB或80GB显存的推理优化卡,配NVLink或自研互联。当模型被切成多副本部署到三、四线城市时,跨节点通信和KV一致性立刻变成成本大头。Arm在COMPUTEX 2026上的判断——"计算走向分布式"——在租赁市场里已经有对应落地形态(参见《2026年,Arm把AI算力推向更多终端》)。
第二件是混合调度的工程能力。FP8推理+混合精度缓存+基于语义路由的模型选择(参见《2026下半年LLM推理成本监控》),已经不是实验特性,而是头部API应商的标配。这也让一些二线供给方被迫跟进,并在租赁条款里加上"推理调用QPS不达标可补偿"。
第三件是Token计费的精细度。2026年中开始,国内多家API服务商把计费切到了输入Token、输出Token、缓存命中Token、工具调用Token四级。租赁算力的一方需要按真实成单结费,否则模型方的成本会被错误估算给搞砸。
抢的是供给,但不是单卡
把拼图拼起来看:这一轮算力租赁价格战,本质不是价格本身,而是供给结构重新洗牌。
- 一线的H200整卡,6月还能议价;
- 头部国产910C的合规推理机柜,签长约要排队;
- 二线推理节点,论小时卖、按Token打包,价差拉到30%-40%;
- 边缘节点,被工业质检、对话客服、跨境服务等场景优先锁定。
从企业角度看,2026下半年真正的资源焦虑点是"能不能持续拿到一份保SLA、保计费可解释、保合规约束的算力合同"。至于合同背后是H200、910C,还是某种FPGA/ASIC卡,只要成本曲线还能撑住,已不是第一优先项。
换句话说,模型厂商在2026年下半年争的不是"把谁挤出去",而是"把自己锁在哪个令牌池里"。这和北京8000P算力资源落地时业内讨论的"先查任务、再签合同"是同一类问题(参见《北京8000P算力资源落地,申算力券前先查三项》):算力券能买,算力合同却没想象中容易谈。
给中小团队的几条朴素建议
- 别追低价,追供给侧的真实SLA:合同里要写延迟、可用性、违约补偿、退路条款。
- 在910C和H200混部时,先把核心KV Cache对齐做好,否则推理时延翻倍。
- 单卡租赁按月,不如按Token/按调用计费——后者溢出部分弹性更大。
- 边缘节点可考虑RWA或代理结算+本地缓存方案;这与《LangGraph多Agent客服》一文里讨论的状态-路由管理是同一思路:把优先路径自己做掉。
- 提前3-6个月评估自身Token趋势与季度算力发票:若推理开销占总AI预算已突破80%(参照同行业惯例数据),重谈合同时机合适。
算力租赁市场还在博弈的密集期,价格曲线、算力券政策、出口管制细则会一轮一轮洗。把条款写在合同里,比靠运气抢显卡更决定生死。