G公司的CTO桌上放着两份材料。
一份是某8000P算力园区的招商PPT，封面上写着“打造通用人工智能（AGI）策源地”。另一份是公司2026年上半年的算力账单：月均支出340万元，其中44万元花在GPU等待、任务切换和集群碎片上。
他看园区介绍时，只盯三个数：可租售的FP16有效算力、空置率、单P时价。
这就是算力市场的温差。一边是园区、基地、P级集群不断被摆上台面。新华网2025年6月报道称，截至2024年底，全国已形成超100个以人工智能为核心的园区；赛迪顾问预测，到2025年底，中国算力核心产业规模有望突破1.5万亿元。另一边，对一家中型模型公司来说，问题没有那么宏大：8000P里，自己到底能用上多少？多少钱？稳定不稳定？
G公司位于北京，团队约120人，正在训练一个300B参数MoE模型。公司要求匿名，我们拿到的是其2026年上半年的算力账本，部分数字做了脱敏处理。
340万元一个月，钱花在哪
G公司月均算力支出340万元，主要分成三块。
训练占65%，约221万元/月。
这家公司正在做300B参数MoE模型。一次全量训练约需要4200 P·小时（FP16等效），但实际不是每月完整跑一遍，而是分段训练、checkpoint恢复、消融实验、评估跑分交替进行。公司月均训练消耗约24500 P·小时。使用H100集群时，按9元/P/小时估算，单次全量训练约3.78万元。
推理占22%，约75万元/月。
内部产品线日均调用约180万token。G公司没有单独租一套推理集群，而是把推理任务塞进训练集群的空闲窗口。推理主要跑在A800集群上，也会利用H100训练任务的间隙。调度方式是Kubernetes抢占式Pod：训练优先级最高，推理低于训练、高于闲置。
这样做的好处直接体现在价格上。G公司内部测算，推理任务的实际单价能压到正常租赁价格的40%至60%。
剩下13%，约44万元/月，是闲置和调度损耗。
这笔钱最容易被忽视。G公司CTO统计过，租来的算力约有12%至15%没有跑在有效计算上，原因包括任务切换预热、数据加载、集群碎片化，以及部分GPU凑不成完整卡组。
这44万元不对应模型能力，也不对应用户请求，只是租用算力时必须吞下的摩擦成本。
把推理塞进训练缝隙
G公司最看重的一项优化，是混部。
训练任务通常跑在256卡以上并行组里。节点之间做梯度同步时，会出现几十秒到几分钟的等待窗口。以前这些窗口就是空转，现在被拿来插跑推理请求。
基础设施负责人给了一个例子：一个70B推理请求，在8卡H100上跑，首token延迟不到200ms。几十秒的空隙，能处理上百个请求。真正麻烦的不是算得动，而是调度要快。
他们后来换了Volcano引擎，把调度延迟从秒级压到毫秒级。
这类操作不像园区PPT里写得那么整齐。混部的难点不在“有多少卡”，而在任务怎么排、故障怎么发现、数据怎么流转。G公司用的是NVIDIA集群，但这套思路并不只适用于NVIDIA。
账面结果很清楚：混部之后，推理成本占比从预估的35%压到22%，每月省下近20万元。
为什么过了线，还是不自建
G公司也算过自建账。
如果自建一个1000P（H100等效）集群，按2026年Q2行情，单台8卡H100服务器约220万至250万元。1000P大约需要125台服务器，每台约8P FP16，服务器成本约2.8亿至3.1亿元。再加上InfiniBand/RoCE网络、存储、制冷、供电改造，总CAPEX约3.5亿至4亿元。
后续还有运维。电费、带宽、人员、备件加在一起，年运维成本约2500万至3500万元。
按5年折旧算，年均成本约1亿至1.2亿元，折合约11.4至13.7元/P/小时。这个价格比G公司当时拿到的零售租赁价8.5至9.2元/P/小时还高。
但自建也不是完全不划算。它最大的收益是可控：集群随时可用，调度摩擦低。G公司CTO估算，如果自建，调度损耗可以控制在3%以内，低于租赁时的12%至15%。折成有效算力后，自建的有效单价约9.5至10.5元/P/小时，已经接近租赁价格。
他们内部给出的分界线是：当月均算力消耗超过18000 P·小时，并且未来12个月需求不会明显下降，自建开始值得认真考虑。
G公司现在月均约24500 P·小时，已经越过这条线。可他们仍然选择租。
原因不复杂。MoE架构可能转向更稀疏的版本，对集群拓扑的要求会变；B200已经在供货，H100集群两年后的竞争力不好判断；更现实的是，4亿元级别CAPEX对一家B轮公司太重。
CTO的说法是：“等模型架构定型、下一代芯片价格明朗，再考虑自建。”
园区给的是选择，不是答案
公开信息显示，世纪互联与北电数智联合打造的算力星河基地，项目一期智能算力为1000P。类似项目在北京、上海、武汉等地不断出现。新华网2025年6月报道中也提到，上海浦东人工智能岛聚焦“AI+金融”，武汉光谷人工智能产业园围绕“AI+光电子”建设算力和产业配套。
但对租用方来说，园区总算力只是第一层信息。更关键的是：其中多少能对外零售，多少已经被预定，多少用于储备或测试。
G公司采购负责人给出的2026年Q2北京区域价格是：H100集群零售价约8.5至9.2元/P/小时，A800集群约6.8至7.5元/P/小时。包年或预付可以谈到7至8折，前提是承诺使用量。
G公司没有选择包年。
采购负责人的理由很直接：“模型迭代太快，下个季度可能换架构。包年锁死资源，等于锁死技术路线。”
这也是按小时租算力的真实价值。它不只是省钱，而是在替技术不确定性买一份选择权。
8000P当然有吸引力。对地方园区，它是产业名片；对算力服务商，它是供给能力；但对一家120人的模型公司，真正要算的是每一P·小时有没有跑在有效任务上。
G公司的账本里，推理和调度损耗加起来已经占到月支出的35%。训练仍然贵，但训练之外的成本，正在变得更难忽视。
