2025年7月,科技日报一篇《深瞳》报道揭开智算中心的尴尬:全国平均利用率仅三成。财联社同年9月的调研更直白——已建成智算中心实际利用率低于40%,但中小企业仍在高端算力市场“一卡难求”。
到了2026年,这组矛盾没有消失,只是更分化了:有的园区还在为租约发愁,有的已经把库存算力变成了持续现金流。
北京一家算力运营方(下称“运营方A”)去年上线了一个1200P节点,今年扩至3000P。他们最早也靠裸机租赁——客户整机租走A100或昇腾910C,按月付费。结果小客户用不起整机,大客户需求波动大,空转周期长。从2024年底开始,他们把物理节点拆成三层:裸金属租赁、容器化训练集群和推理API网关。
一个关键数字:一台8卡昇腾910C服务器,单租户模式下平均利用率约45%;改为容器化混合部署后,利用率可升至70%以上。
这不是什么黑科技,而是把算力当云服务卖——按GPU小时、按Token计费,而不是按整机月租。同一位客户白天跑推理、晚上跑训练,同一个节点同时服务多个轻量任务,整体利用率自然上去。
训推配比不是拍脑袋定的
运营方A做了半年统计:训练任务占算力消耗的35%,但单个任务持续周期长(平均18天);推理任务占65%,单次耗时从几十毫秒到几分钟,并发波动大。如果全部按训练需求铺高速IB网络,推理业务根本用不上。
他们的方案是“混合网络”:训练节点之间用400G IB,推理节点用100G RoCE v2,中间通过智能网关流量调度。80%的网络成本花在刀刃上,剩下20%保持通用。每周根据客户签约情况调整一次集群配置——训练忙时从推理池借调H100,但预留保底资源给在线服务。
这种弹性让资源池利用率在高峰期达到85%,低谷也能保持在60%以上。而据财联社报道,行业普遍利用率低于40%。
让闲置算力像竞价广告一样卖出去
运营方的算力调度引擎有三个核心能力:
- 碎片整理——把打散的GPU/CPU/内存资源重新聚合成逻辑单元,分配给一个大模型训练任务。
- 超分复用——通过MIG或vGPU,将一张A100切成7个实例,每个单独卖给不同客户。
- 竞价实例——参考AWS Spot Instance,把闲置算力以折扣价短期竞拍,用于数据预处理、模型评测等非紧急任务。
三招下来,几乎每一秒都有算力在跑。他们内部测算,分层调度后单节点利用率从40%提升到72%。
防套利比找客户更难
2026年6月,一篇调查文章揭露了智算中心“假租约、套补贴、卖绿电”的乱象(JazzYear报道)。运营方A也遇到过:有公司注册壳公司签下1000P租约,转头转租给第三方,自己吃补贴差价。
他们的对策很硬:租约必须绑定真实业务场景。签约时要求客户提供模型架构、训练数据规模、预计吞吐量,并接入监控系统实时校验。如果连续一周无实际算力消耗,自动降级为竞价实例价格,甚至解除合同。
这一刀切下去,短期客户少了,但每个签约客户都真在跑训练或推理,现金流更健康。
给地方智算中心的三个实操建议
基于运营方A的经验和行业数据,这里有三条可直接落地的思路:
先跑推理,再做训练。 80%的新建智算中心一上来就瞄准大模型训练,但训练客户稀少且周期短。不如先部署推理服务,承接中小企业的API调用,先把现金流跑起来。运营方A的推理业务贡献了60%以上收入,且客户黏性更高。
预留20%节点做灵活池。 专门应对突发训练需求或竞价促销,避免资源过度承诺。这部分资源在调度系统中标记为“可抢占”,平时跑推理,需要时立刻收回给高价训练任务。
构建算力生态,不只是卖卡。 联合芯片厂商(昇腾、寒武纪)提供软件调优服务,帮客户把模型跑得更快。运营方A甚至帮客户做模型迁移和性能优化——这增加了客户切换成本,也提高了续约率。
关于异构适配和网络瓶颈,我们在《8000P之后,酒仙桥算力园区先把利用率说清楚》一文中详细分析过:可交付算力、数据读写和调度数据才是真实瓶颈。而《华为智算集群实测》的数据也显示,昇腾910C在混合精度训练中MFU已接近A100的80%,但前提是软件栈经过专门适配。
算力运营,终归是精算生意
一台GPU服务器价格100万-400万元,加上配套制冷与供电,一个8000P园区的硬件投入动辄数十亿元。如果出租率上不去,每天的电费和折旧都在吞噬现金流。
那些能像管理云服务一样管理智算中心的团队,才有资格拿到下一笔投资。而核心指标不是装机量,是“实际可用算力出租率”——这个数字,现在能公开报出来且站得住脚的运营方,还不多。