昇腾910C推理提速43%?这组数据还缺关键条件
公开材料确认,昇腾910C集群已完成1.6万亿参数DeepSeek-V4-Pro全参数后训练;但没有给出CANN 8.0.RC2升级前后的推理对照。43%吞吐提升和29%显存下降,仍需补齐模型分片、精度、并行方式与测试日
阅读全文关键词:国产算力
公开材料确认,昇腾910C集群已完成1.6万亿参数DeepSeek-V4-Pro全参数后训练;但没有给出CANN 8.0.RC2升级前后的推理对照。43%吞吐提升和29%显存下降,仍需补齐模型分片、精度、并行方式与测试日
阅读全文聚焦昇腾910C在PyTorch迁移中的显存碎片化解法、自定义算子编写规范与MindSpore双轨代码差异,提供一线开发者可直接复用的CANN调优参数与调试路径。
阅读全文从 CUDA 切到昇腾后,框架安装只是起点。算子覆盖、AICore 报错、HCCL 通信和 HBM 占用会持续消耗工程时间。更稳妥的迁移顺序,是锁定基线,再按单卡、单机多卡、多机逐层验收。
阅读全文长上下文推理变慢,不一定是算力不足,数据搬运、临时张量和算子下发也可能占大头。围绕昇腾 910C,梳理如何用 profiling 判断是否值得写 Ascend C 自定义算子,并处理 32 字节对齐、Tiling、融合和
阅读全文基于昇腾 910C 真实迁移项目,记录从 PyTorch 模型迁移到华为 NPU 环境的全过程,涵盖算子兼容性处理、内存优化、通信调优及常见报错排查,提供可复现代码片段,结合出货量数据与实战经验,为开发者提供一份避坑清单
阅读全文把 CUDA/PyTorch 项目迁到昇腾 910C/910D,常见卡点集中在自定义算子与动态 Shape、显存碎片、HCCL 多卡通信。文章按排查顺序给出配置示例,并说明哪些参数只能用于定位,不能代替根因分析。
阅读全文通过走访苏州、北京等地的算力园区,本文揭示了8000P级算力集群在实际运行中的利用率真相。分析入驻企业在面对国产算力迁移、调度碎片化及闲置成本时的真实账单,为AI团队提供从“追求规模”到“追求效率”的算力采购决策参考。
阅读全文针对国产算力集群部署中的显存瓶颈,本文实测了FP8、INT4及混合精度三种轻量化量化方案在昇腾910D上的显存节省效果与实际精度损失,并提供了一套可复用的调优Checklist,助力大模型无损落地。
阅读全文针对 Llama 4 等开源大模型,本文给出在昇腾 910C/910D 等国产算力集群上的部署全流程,重点拆解跨节点 HCCL 通信延迟、显存碎片化与并行策略选择三大瓶颈,并附可复用的优化参数配置与排查清单。
阅读全文避开宏大叙事,本文通过一个70B参数模型从H100迁移至昇腾910C的真实案例,量化拆解代码适配、算子重写与HCCL调优的人力与时间成本,为技术负责人提供国产算力迁移的ROI决策参考。
阅读全文在昇腾910D部署中,自定义算子变慢时,先用CANN 8 profiling查清耗时、通信、内存和下发问题,再判断是否融合与自动搜索。以RMSNorm和Gated-SiLU为例,说明Auto-Kernel与手写Trito
阅读全文针对国产算力集群在多机多卡通信中的“延迟墙”问题,北京通用人工智能研究院(BIGAI)通过一套新的通信拓扑调度架构,将集群同步延迟降低了40%。本文拆解其从算子级优化到拓扑感知的技术路径,分析该突破如何降低中小开发者的训
阅读全文