AI 纪元 追踪人工智能最新进展,深度解读前沿技术

8000P算力园区实探:机柜密度、液冷管道和一张看不懂的电费单

实地探访华东某8000P算力园区,以运营工程师视角拆解一张高达860万的月度电费单。文章深度复盘高密机柜的功率约束,对比冷板式与浸没式液冷架构在不同IT负载下的真实PUE表现,并揭示算力闲置期因底座设备空转造成的结构性能耗黑洞。

0 次阅读 约 2307 字 5 分钟 AI 生成
8000P算力园区实探:机柜密度、液冷管道和一张看不懂的电费单 cover image
8000P算力园区实探:机柜密度、液冷管道和一张看不懂的电费单 cover image

翻看华东某新建8000P算力赋能园区运营总监的办公桌,最显眼的不是什么拓扑图,而是一张上个月刚刚打出来的电费单。860万人民币,这是盛夏满载预期下一个月的电力开销。但在卡时利用率仅维持在30%上下时,这个数字依然高达数百万。在这座规划总算力8000P的AI算力园区里,GPU集群的轰鸣声并不总是意味着进账,底噪能耗才是吞噬利润的隐形杀手。自2024年Sora等视频大模型引发需求爆发后,算力配齐了却常常运不拉满(见《Sora激发的需求挤瘫园区:算力配齐后为何运不拉满》)。数据中心的建设逻辑已经从单纯的“堆卡”变成了围绕电费和散热的极限博弈。如果把算力园区比作一辆跑车,GPU是引擎,液冷是水箱,而那张看不懂的电费单,就是仪表盘上亮红灯的油耗表。### 拆解一张8000P算力账单:满载与空转的巨大势差在这张电费单的明细背后,是园区设计功率与实际IT负载的严重错配。该园区一期部署了8个机房模块,单机柜设计功率密度标称30kW。按8000P的算力规划,这通常对应约600至800台8卡AI服务器(单台功耗约10kW-12kW)。园区接入了两路110kV变电站,整体规划IT总功耗约22MW。如果按每度电0.65元的工业园区大工业电价粗算,全年满载运转仅电费就直奔1.2亿元。但现实远比理论骨感。进入2026年下半年,随着大模型训练需求的阶段性放缓以及微调与推理业务的交错,园区面临着典型的结构性闲置:算力要么在等集群调度,要么在等客户联调。问题恰恰出在“底噪”上。哪怕只有5个机柜在为某垂类大模型做推理,整个园区配套的精密空调设定温度、 UPS待机损耗、以及循环水泵系统,仍得按照基础安全阈值运行。根据Intel与超聚变联合发布的《算力创新,点亮价值之路》案例研究,算力中心的整体能效调度必须做到精细化到单机柜的部件级休眠。如果软件调度层无法做到服务器级别的深度休眠,那些看似空闲的GPU rack仍在不断吸血。破局的关键不只在于打出智能体调用日志或重排集群任务,底层调度系统必须强制关联机房环控安全联动协议。冷板式液冷能效博弈:从临港智算谷的真实实测数据相比风冷技术在单柜15kW以上逐渐力不从心,液冷已经成为高密算力园区的标配。液冷通过冷却液替代空气散热,利用液体的高导热和高热容特性,成为解决高算力数据中心散热和节能挑战的必由之路。但具体采用哪种液冷方案,在实际运营中有着天壤之别。园区目前采取的是一冷板式液冷为主、风冷为辅的混合架构。冷板式液冷管路直接贴附于GPU和CPU表面,吸收器件热量后通过CDU(冷量分配单元)循环到室外冷却塔。临港算力(上海)科技有限公司建设的临港智算谷是国内早期公开实测数据的标杆园区。据其发布的《智算中心液冷应用的思考与实践》报告显示,临港智算谷A4+A5区域规划总功耗73兆瓦,自2023年9月1.1期投产以来,采用板液冷系统在40%负载运行时,实测PUE值能稳定在1.15左右。我们探访的8000P算力园区期望 PUE低于1.18,但实际跑下来却常常越过1.22。工程师指出症结在于“漏液恐慌”导致的保守供液策略。为了绝对安全,运维团队习惯将一次侧冷却水温度压得很低,导致CDU和末端干冷器频繁满负荷运转。芯片供液温度在ASHRAE标准的W27类别时,液冷CDU建议采用冷冻水冷源模式;只有当供液温度达到W40+的高温液冷区时,系统才能利用自然冷源实现真正低能耗。但现实情况是,安全冗余正在反噬系统的极限能效。布局冷板式液冷并不便宜。将8000P园区从纯风冷升级,每千瓦改造成本在几千元起步,整体液冷改造追加往往高达1500万级别,对于运营方而言,这是一笔只能硬扛的沉没成本。浸没式液冷的运维暗礁:不做细活别想拉满功率当单机柜功率密度迈向40kW乃至单台8卡服务器顶满12kW时,部分激进园区开始上马浸没式液冷。将整台服务器直接泡在氟化液或合成油中,理论上没有空气换热阻力,PUE极限可压至1.05以下。咨询机构Omdia数据显示,2023年全球数据中心冷却市场规模已达76.7亿美元,市场对于高效新型制冷方案的渴求度极高。但在真实操作中,浸没式液冷园区目前更像是实验室里的完美方案。首先是重量与楼板承重约束。一个42U的浸没式机柜注满冷却液后,运行重量动辄超过1.2吨。老旧数据中心改造时,建筑楼面承载力极难匹配。其次是运维的灾难性反噬。当租用算力的客户因为显卡故障要求拔出维修时,工程师面对的是油乎乎的服务器和高难度的密封复位操作。这就导致算力租用方在实际业务调度时变得格外小心翼翼,生怕硬件频繁上下架导致的长时间宕机。对于需要敏捷调用API资源的团队而言,这种运维阻塞极易引起任务超时报错退单。到底什么冷却方案最适合当前8000P算力园区?对于以大参数模型训练为主、机柜密度恒定的业务,浸没式液冷能带来极致PUE;但面对业务潮汐明显的推理园区,冷板式液冷配合可盲插的快接头,才是平衡能效与可服务性的唯一选择。基础设施期刊期刊也强调,在改造场景下宜采用风液混合CDU,充分利用原有风冷设备,实现成本与能效的平稳过渡。算力园区的下半场拐点:从供电设施到调度算法的较量算力不是空中楼阁,它高度依赖物理世界的电力、水管和钢筋水泥。那长长一串的电费单,本质上就是AI企业晚点交付前的硬件预付款。直到调度软件能够真正实现机房级温控联动、做到“不计算就断电、少计算就降频”,等待算力园区的仍是填不满的黑洞。随着多家上市企业披露AI算力业务线高速增长、应用需求激增、头部厂商进一步优化算力能耗联动调度,掌握底层真实能耗账本和液冷管道约束的园区,才拥有在这个大模型周期内存活的底气。

相关阅读