昇腾910D对标英伟达A100，理论算力够用。但把Llama或Qwen从GPU集群搬过来，第一道坎不是算力，是算子。
Custom Op Not Found：CANN的算子缺口
MindSpore 2.0加载未适配的Llama模型，Custom Op Not Found报错几乎是标配。某些Attention机制和RoPE位置编码，在昇腾NPU上没有直接对应的算子。CANN作为昇腾的底层基础软件栈，对华为自研模型优化到位，但面对Hugging Face生态里的开源算子，覆盖还不够全。
最省事的路子是用MindFormers预训练套件。Qwen、Llama的昇腾适配版已经内置，pip install mindformers直接调接口，比手动从PyTorch转权重靠谱。
如果缺的是少数关键算子，Triton语言写自定义向量算子是个折中方案。鲲鹏昇腾开发者社区分享过，借助Agent-Skills辅助，1小时内能完成一个Triton Vector算子开发并注册到CANN。比手写Ascend C算子快，维护成本也低。
HCCL通信：多卡训练的真正瓶颈
单卡跑没问题，8卡或更多节点一起训，通信开销就来了。HCCL Error: AllReduce failed和Timeout waiting for collective operation是两个最常见的报错。
910D的互联依赖HCCL（Huawei Collective Communication Library）。排查顺序：先看物理网络拓扑，确认PCIe交换机和IB/RoCE网络配置。MindSpore 2.0里设export HCCL_COMPUTE_RANK_TABLE_VERSION=2，能启用更新的拓扑感知算法。
显存紧张的场景，加梯度累积步数减少通信频率，但内存占用会涨，batch_size和gradient_accumulation_steps得找平衡点。
用Atlas系列的硬件监控工具看NPU利用率。昇腾NPU算力切分技术的思路提到，利用率低于60%大概率是通信等待造成的。这时候检查调试日志是否关干净，或者调HCCL_CONNECT_TIMEOUT。
BF16和算子融合：把吞吐量拉起来
模型跑通只是开始。910D在FP16/BF16下理论峰值很高，但实际吞吐受软件栈效率限制。
混合精度用BF16不用FP16。大模型深层网络里，FP16梯度容易溢出，BF16稳定性好得多。MindSpore 2.0开amp_level='O2'就行。
CANN会自动做部分算子融合，但自定义层得手动检查有没有重复的Element-wise操作。msprof工具跑Profiling，找耗时最长的算子针对性重写。数据预处理那边，num_parallel_workers拉到物理核心数的1.5倍左右，I/O吞吐通常够用。
迁移到昇腾不是换个环境变量那么简单。HCCL通信机制、MindSpore的动静图切换、算子缺口，每一项都得实打实地填。鲲鹏DevKit的代码迁移工具能帮上忙，社区里的算子开发案例也值得翻。把坑填平，910D的算力才算真正用起来。
