7月初复盘会上,团队A的CTO把月度账单摊开:37.2万元,比上个月又多了4000元。
他们租了200P配额,主要跑对话Agent推理。GPU机时费占61%,还算在预期内;真正刺眼的是“跨节点数据传输”,占到23%,金额8.5万元。团队内部有人算了一下,这笔钱差不多够多养两个工程师。
这不是单个团队的抱怨。上海某8000P算力园区满租半年后,不少入驻团队开始重新看账单:园区卖的是总算力,团队用到的却是经过调度、网络、存储几层过滤后的可用算力。
新华网相关报道提到,截至2024年底,全国已形成超100个以人工智能为核心的园区;赛迪顾问预测,到2025年底,中国人工智能核心产业规模将逼近4000亿元,算力核心产业规模有望突破1.5万亿元。园区数量和产业规模都在涨,但这并不自动等于单个团队的成本会降。
问题就藏在账单细项里。
不是P数不够,是算力流不到任务上
团队B有40人,训练和推理混合做,租了600P配额,月账单112万元。
他们做过一次全链路延迟测试:同一机架内卡间通信是0.8微秒,跨机架变成3.2微秒,跨Pod拉到9.7微秒。训练一个70B参数模型时,checkpoint同步每15分钟触发一次全局通信。延迟每高1微秒,整体训练时间被拉长0.3%。最后算下来,有效算力利用率只有41%。
也就是说,账面上租了600P,真正稳定用到任务里的不到250P。
这就是第一个坑:跨节点通信延迟。
园区使用InfiniBand互联,标称带宽400Gbps。但在多租户并发场景下,实际可用带宽常降到标称值的60%以下。大模型训练和推理很少只靠单卡完成,模型切分到多卡、多节点后,每次前向传播、梯度同步都要走网络。网络一堵,GPU就等着,机时费却照算。
开园三个月时,入驻团队已经提过类似问题:名义上的澎湃算力,实际可稳定用于千卡级训练的不超过一半。半年后,网络拓扑有过优化,但多租户争抢带宽这件事没有消失。
8000P不是假数字。它更像水池总容量。团队真正拿到的水流,取决于水管粗细、阀门开度,以及同一时间有多少人在用水。
夜里不用,也可能照样付钱
团队C更小,8个人,做端侧模型适配,租100P配额,月账单18.5万元。
他们的GPU机时费占55%,网络端口费占28%。更难接受的是,网络端口费里有超过一半来自夜间闲置时段。团队白天跑任务,晚上基本不用,但调度系统按峰值预留带宽,24小时计费。
这就是第二个坑:网络闲置浪费。
园区调度平台采用“预留制”。申请100P算力,系统就把对应网络端口和带宽全天候分配给你,不管任务是否真的在跑。QoS隔离策略也偏刚性:宁可资源闲着,也要保证某个租户的预留资源不被其他任务干扰。
这套思路接近传统云计算里的虚拟机隔离。但AI任务不太一样。训练任务持续时间长,推理任务有明显波峰波谷,带宽占用并不均匀。
团队C算过一笔账:如果夜间闲置带宽能释放给其他团队跑批处理,自己的月账单能降6万元,园区整体利用率也会更好。问题是,当前调度系统做不到。
真正有效的办法,往往不在宣传页上
账单拆开后,几个团队没有等园区彻底升级系统,而是先自己动手。
团队A和园区内另外两个推理团队组了一个“推理共享池”。三家签了《分时复用结算协议》:白天各用各的专属配额,夜间合并成公用池,按实际GPU-分钟计费,闲置时段带宽成本三家均摊。
运行两个月后,团队A的月度网络费用从8.5万元降到5.1万元。
这件事的门槛不完全在技术上,而在分账规则。谁在什么时间用,按什么粒度计费,出故障怎么认定责任,都要先谈清楚。
团队B走的是另一条路:自己改训练任务的placement策略。
他们不再完全依赖园区默认的随机调度,而是根据机架拓扑手动指定模型切分方案:通信最密集的Transformer层放在同一机架内,尽量减少跨机架通信;通信较少的Embedding层和输出层放到远端节点。
改完后,有效算力利用率从41%提高到58%,月账单从112万元降到89万元。
这个办法见效快,但不是每个团队都能抄。它要求工程师懂网络拓扑,也懂并行策略。只会提交任务、等待调度平台分配资源的团队,很难做到这一步。
还有一个方案没走通。有团队想和隔壁团队临时互换GPU节点,以优化拓扑亲和性。但园区租赁协议不允许“二次转租”,哪怕只换几个小时也不行。最后不是技术卡住,而是法务成本把事情挡住了。
园区的难题,已经不只是把楼盖满
雷峰网一篇关于AI算力CEO访谈的文章提到,秦淮数据CEO吴华鹏认为,行业竞争的核心正在从“拼规模”转向“规模”与“质量”并重。这里的质量,落到团队账单上,就是实际可用算力占比。
《财经》客户端也曾用更直接的说法提醒:公共智算中心再不转型,可能会成为“一堆昂贵的废铁”。这句话刺耳,但对入驻团队来说,判断标准其实很简单:同样的钱,能不能跑出更多有效任务。
满租只能说明园区空间和配额卖出去了,不能说明资源用得足够好。算力园区如果继续只按峰值预留、按配额收费,而不是把网络、存储、调度这些隐性成本讲清楚,团队迟早会把账算到续约上。
对入驻团队来说,短期内更现实的做法有四个。
第一,别只看GPU机时。账单要拆成GPU机时、网络传输、存储IO、调度管理几块看,尤其要盯住跨节点通信和网络端口费。
第二,自己测有效算力利用率。低于50%时,不要只怀疑代码,也要查通信瓶颈和调度位置。
第三,找业务波峰互补的团队组池。团队A的例子说明,分时复用不一定要等园区平台先改,只要分账规则能谈下来,就可能先降一部分成本。
第四,续约时争取按实际用量计费,尤其是网络带宽部分。预留制对稳定大任务友好,但对波动明显的推理和适配任务,往往会把闲置时间也计进账单。
8000P算力园区满租半年后,真正该看的数字不是宣传牌上的P数,而是团队账单里的有效算力。P数越大,调度和网络的浪费也可能越贵。账单降不下来,团队会用续租率给出答案。