昇腾 910C 万卡集群的液冷巡检：哪些信号需要提前 30 天报警
北京某 8000P 算力园区在 2026 年 5 月发生冷媒切换引发的集群级掉卡事故。本文面向一线运维，拆解昇腾 910C 液冷集群在漏液、分水器温差与缓蚀剂离子浓度上的预测性维护阈值，提供需提前 30 天干预的信号清单
阅读全文
Search
站内搜索
关键词：Prometheus
找到 3 篇相关文章
GPU集群里那些占坑不干活的“影子租户”，怎么清理？
GPU算力太贵，但很多显存被无人监管的测试环境和僵尸Pod悄悄占用。通过 Prometheus 和 Kubernetes 的自定义查询，可以精准定位这些“影子租户”并分级回收，实测能降低 30% 以上的算力浪费。
阅读全文让AI管理AI训练：凌晨三点，我不用再爬起来救火了
2026年，一些机器学习团队开始用AI Agent接管训练管线的监控和修复。通过串联Prometheus、Grafana、n8n和本地部署的小模型，系统能自动诊断GPU空闲、Loss卡住等问题，并尝试调整学习率或重启任务
阅读全文