7月8日中午,园区机房外的走廊上,三家AI创业公司的CTO蹲在自动贩卖机旁边,讨论的不是下个月的电费账单,而是昨晚谁的训练任务又被调度系统排到了碎片节点上。
这个距离上海浦东人工智能岛不到两小时车程的园区,3月底正式开园,对外宣称的算力规模是8000P(FP16)。据新华网6月的报道,园区被定位为“通用人工智能(AGI)策源地”,目标是吸引大模型训练、具身智能和AI for Science方向的创业团队。开园三个月,入驻率已经超过六成。
但真实的使用体验,和宣传稿里的“即开即用澎湃算力”差得有点远。
名义8000P,实际能稳定跑千卡任务的不到一半
第一个问题出在多租户调度上。
园区的算力集群并非为单一用户设计,而是通过一个统一的资源调度平台分配给数十个团队。一家做长文本法律模型的团队告诉我们,他们申请了256卡A100集群跑一个100B参数的MoE模型,调度系统显示资源分配成功,但实际运行时发现,256张卡被分散在6个不同机柜、跨了3个网络层级。
“跨机柜的AllReduce通信时间,比单机柜内多了近40%。”该团队的infra负责人说。一次原本计划18小时的训练任务,因为通信开销被拖到了29小时。更糟的是,这种碎片化分配不是偶发的——在白天高峰时段,几乎每次申请超过128卡都会遇到。
园区运维方给出的解释是:为了保证公平调度,系统采用“尽力而为”的分配策略。但对创业团队来说,“尽力而为”意味着训练周期的不可预测。而不可预测,比慢更致命。
这种算力闲置与紧缺并存的怪象,像极了我们在《Dify、n8n、Coze别只看热度》里讨论过的Agent框架选型逻辑——不是资源不够,是分配机制和实际负载不匹配。
存储IO瓶颈:读数据比算数据还慢
第二个被反复抱怨的问题,是共享存储的IO带宽。
园区提供的是分布式并行文件系统,理论吞吐号称200GB/s。但三家团队的实际测试数据接近:单节点读带宽在1.2-1.8GB/s之间波动,训练集大规模读取时,整体吞吐被压在60GB/s以下。
一家做多模态视频生成的团队感受最深。他们的训练数据是800TB的4K视频切片,每次训练启动时需要预加载约40TB的热数据。“等数据加载的时间,够我们开两轮standup meeting。”该团队工程师开玩笑说,但语气里没多少笑意。
问题的根因不在硬件本身,而在多租户并发读写时的元数据争抢。当十几个团队同时提交训练任务,文件系统的元数据服务器(MDS)会先被击穿。这种现象在大规模AI训练集群里并不新鲜,但在商业园区里被放大——因为租户之间没有协调机制,全看谁先抢到队列头。
动手改调度:三个团队的野路子
入驻团队没有坐等园区升级。三个月里,他们各自搞了一些“自己动手丰衣足食”的优化方案。这和《小团队做Agent,先别急着买机器》里的思路如出一辙:能跑通,比堆配置更重要。
团队A(法律大模型) 的做法最直接:他们写了一个预调度脚本,在正式提交任务前,先用16卡的小规模测试任务探测集群的空闲拓扑。脚本会记录哪些节点在同一机柜、同一交换机下,然后向调度系统提交一个带“软亲和性”约束的申请。虽然不能保证100%分配到紧耦合节点,但成功率从最初的30%提到了70%以上。
“这不是什么黑科技,就是我们在HPC时代学到的老办法。”该团队infra负责人说。
团队B(多模态视频) 则把精力放在了存储层。他们在本地NVMe盘上搭了一层FUSE缓存,把高频读取的数据集副本缓存在训练节点本地。每次训练启动时,先读本地缓存,命中率能做到85%以上。代价是每个节点要额外维护200GB的缓存空间,以及一套自己写的缓存失效脚本。
这套方案的问题在于:一旦数据集更新,缓存同步会引入额外延迟。但他们衡量过,这点延迟比等待共享存储的IO队列划算得多。
团队C(具身智能仿真) 的需求不太一样。他们不跑千卡级大模型训练,而是需要大量单卡或双卡的强化学习仿真任务。他们的痛点是:调度系统对小任务的优先级太低,常常被大训练任务挤到深夜才能执行。
他们解决的办法是“反向拆解”——把一个大训练任务拆成几十个小任务提交,利用系统对小任务数量不敏感的特性,穿插进调度队列的缝隙里。这招有点灰色,但运维方目前睁一只眼闭一只眼。
算力闲置的另一面:不是没人用,是用不起来
园区宣传稿里很少提的一个数字是:实际有效利用率。
据我们向多家入驻团队交叉验证,园区8000P算力中,白天时段真正用于有效计算的比例大约在40%-55%之间。闲置的那部分,不是因为没任务,而是因为任务在排队、等数据、或者被调度到不合适的节点上后自行放弃。
这其实触及了一个更大的行业问题:算力中心建得越来越多,但“算力闲置”与“算力紧缺”同时存在。闲置的是碎片化的、无法被大任务利用的零散卡;紧缺的是紧耦合、高带宽、低延迟的整柜集群。
电费反而成了最不担心的事
回到标题。为什么入驻团队最头疼的不是电费?
因为园区给的电价是0.48元/度,比市场上大部分商业数据中心低了近20%。加上政府补贴,创业团队实际承担的电力成本远低于预期。一家训练密集型的团队算过账:就算他们满负荷跑256卡一个月,电费也不过18万元左右,相比人力成本和模型推理的Token账单,占比不到15%。
真正吃预算的,是因为调度延迟和IO瓶颈导致的项目延期、额外的工程人力投入、以及为了绕过限制而买的本地NVMe盘和交换机。
这些隐性成本,不会出现在园区的招商PPT里。就像我们在《模型降价后,Agent账单为什么没少》里拆解过的:表面单价在降,但隐性消耗会从别处冒出来。
AGI策源地,需要的不只是算力密度
新华网的报道里提到,园区目标是“算力与空间赋能”。空间确实够大,算力名义上也够多。但对真正在做AGI方向探索的团队来说,他们需要的不是“8000P”这个数字,而是能稳定支撑千卡紧耦合训练、具备可预测调度延迟、存储IO不拖后腿的基础设施。
一家团队负责人说得直接:“我们不指望园区变成Google的数据中心,但至少别让调度系统成为我们训练日志里最常出现的error source。”
园区的运维团队也在改进。据我们了解,他们计划在Q3上线一个“整柜预留”的高级服务——允许团队按周预定物理上紧耦合的算力单元,价格比普通共享资源贵30%-50%。这对预算稍宽裕的团队可能是个解法,但对早期创业公司来说,又是一笔额外开支。
三个月下来,入驻团队学到的教训很朴素:宣传稿里的P数,和你能用到的P数之间,隔着调度算法、存储架构和网络拓扑三座大山。翻过这三座山,才是真正的AGI策源地。
否则,8000P只是一个挂在园区门口的LED数字。