千节点昇腾 910C 集群,通信究竟堵在哪里
公开材料没有给出昇腾 910C 千节点实测。能确认的是,华为 2025 年发布的昇腾 384 超节点把 384 卡纳入高速总线域。规模继续外扩后,排查重点应落在跨域通信、MoE 的 All-to-All、拓扑映射和慢节点
阅读全文关键词:910C
公开材料没有给出昇腾 910C 千节点实测。能确认的是,华为 2025 年发布的昇腾 384 超节点把 384 卡纳入高速总线域。规模继续外扩后,排查重点应落在跨域通信、MoE 的 All-to-All、拓扑映射和慢节点
阅读全文公开材料确认,昇腾910C集群已完成1.6万亿参数DeepSeek-V4-Pro全参数后训练;但没有给出CANN 8.0.RC2升级前后的推理对照。43%吞吐提升和29%显存下降,仍需补齐模型分片、精度、并行方式与测试日
阅读全文“8000P”不是功耗单位,PUE也不能单独推出月度电费。园区更该比较平均功耗、利用率和有效Token产出;H100、910B、昇腾910C,以及FP8、INT4等方案是否省钱,都要放进同一套实测口径。
阅读全文2026下半年,H200整卡按月租议价空间收窄,国产910C推理机柜签长约要排队。竞争核心已从训练侧转向推理侧——低延迟SLA、混合调度与边缘节点成为真正的稀缺资源。
阅读全文聚焦昇腾910C在PyTorch迁移中的显存碎片化解法、自定义算子编写规范与MindSpore双轨代码差异,提供一线开发者可直接复用的CANN调优参数与调试路径。
阅读全文从 CUDA 切到昇腾后,框架安装只是起点。算子覆盖、AICore 报错、HCCL 通信和 HBM 占用会持续消耗工程时间。更稳妥的迁移顺序,是锁定基线,再按单卡、单机多卡、多机逐层验收。
阅读全文11520张昇腾910C接入同一集群后,单个慢节点、端口错误或集合通信阻塞,都可能把等待扩散到整个任务。排查要把训练时间线、HCCL算子和交换机端口指标对齐,再决定是否调整通信算法、超时策略和任务编排。
阅读全文PyTorch 模型迁到 CANN 后一跑就 OOM,先把加卡放到最后。固定输入复现峰值,用 Profiler 对齐自定义算子前后的 shape、dtype、format 与 Data Copy,再根据证据处理算子融合和
阅读全文长上下文推理变慢,不一定是算力不足,数据搬运、临时张量和算子下发也可能占大头。围绕昇腾 910C,梳理如何用 profiling 判断是否值得写 Ascend C 自定义算子,并处理 32 字节对齐、Tiling、融合和
阅读全文基于昇腾 910C 真实迁移项目,记录从 PyTorch 模型迁移到华为 NPU 环境的全过程,涵盖算子兼容性处理、内存优化、通信调优及常见报错排查,提供可复现代码片段,结合出货量数据与实战经验,为开发者提供一份避坑清单
阅读全文把 CUDA/PyTorch 项目迁到昇腾 910C/910D,常见卡点集中在自定义算子与动态 Shape、显存碎片、HCCL 多卡通信。文章按排查顺序给出配置示例,并说明哪些参数只能用于定位,不能代替根因分析。
阅读全文针对 Llama 4 等开源大模型,本文给出在昇腾 910C/910D 等国产算力集群上的部署全流程,重点拆解跨节点 HCCL 通信延迟、显存碎片化与并行策略选择三大瓶颈,并附可复用的优化参数配置与排查清单。
阅读全文