把 batch_size 拉到 32，96 GB 的 HBM 在第 47 步直接报 Out Of Memory。这不是容量不够，是碎片化。昇腾 910C 的 HBM 带宽停在 1.8 TB/s（对比 H100 的 3.35 TB/s），数据搬运比计算更吃紧。据腾讯云开发者社区与华为官方交叉验证，910C 在端到端 LLM 训练中的实际性能约为 H100 的 60%–80%，MFU 稳定在 30% 左右。软件栈的隐性成本，往往比硬件参数表更难啃。
import torch_npu 只是第一步。这个插件重写了底层内存管理器和算子注册表。生产环境里必须严格对齐 CANN 版本与 torch_npu 的 release tag。错位编译会直接导致 AICore 执行队列死锁。复现一个 7B 参数模型的 DPO 微调时，遇到 RuntimeError: NPU graph execution failed，排查发现是 torch.compile 与动态形状追踪冲突。关掉 fullgraph=True，改用 torch_npu.npu_graph_executor 接管编译路径才能跑通。
真正的卡点是显存分配策略。910C 的分配器默认采用 pinned 策略，多卡并行时容易碎。调试方法很粗暴但有效：开启 ASCEND_GLOBAL_LOG_LEVEL=3，配合 npu-smi info -t memory-usage 抓实时占用曲线。看到锯齿状波动，说明碎片严重。此时需要设置环境变量 HCCL_WHOLE_DEVICE_MEMORY_ALLOCATOR=1，让 HCCS 互联协议接管跨卡内存池。混合精度方面，910C 对 BF16 的支持已经非常成熟，推荐在 loss.backward() 前插入 torch_npu.npu_amp_grad_scale 动态缩放，配合 --bf16 开关，能避开 FP16 的 Range 限制并减少约 40% 显存占用。对于长上下文场景，建议将 config.json 里的 max_position_embeddings 与实际显存容量做硬性绑定，避免图编译阶段申请过大。推理部署阶段同样如此：昇腾 910C 的推理吞吐标称 6,688 tok/s/NPU，但前提是输入序列长度固定。一旦接入动态路由工作流，频繁重建计算图会导致延迟飙升。解决办法是在服务层做请求排队与批处理，利用 torch_npu.npu_prepare_data_loader 提前组装 batch，并把 DataLoader 的 num_workers 降到 4，配合 pin_memory=False 减少 Host-NPU 的数据搬运延迟。
当官方算子覆盖不到业务逻辑时，开发者必须手写 Custom Op。昇腾走的是 CANN 的 TIK 与 ACL 双通道。TIK 负责 AICore 向量计算，ACL 处理标量逻辑。写算子的第一原则是“不要试图在 NPU 上模拟 Host 行为”。我曾见过团队把一段复杂的文本清洗逻辑塞进 @ti.kernel，结果因为内存地址空间不连续，触发 Invalid memory address。正确做法是：先在 Host 端用 NumPy 跑通原型，提取可并行的核心张量操作，再按《昇腾算子注册与模型迁移》提出的四阶段闭环流程（分析→适配→调优→验证）重写。代码层面的修改不能靠全局搜索替换，MindSpore 和 PyTorch 双轨并行时尤其致命。MindSpore 原生图模式对动态维度容忍度更高，PyTorch 迁移过来后，得把 torch.where、torch.index_select 等高频操作全部替换为 npu_ops 命名空间下的等价函数，否则会自动 fallback 到 Host 端执行，带宽瞬间打满。推理部署阶段同样如此：MindSpore 的 msfunction 和 PyTorch 的 torch.export 导出路径完全不同，迁移时若未显式调用 .contiguous()，AICore 的向量计算单元会因为内存对齐失败抛出 Illegal memory access。
迁移不是复制权重那么简单。正如之前拆解《客服 Agent 迁往昇腾 910D，先拆开推理链路》的经验，推理链路的服务接口、工具协议和监控指标必须重新对齐。现在的大模型业务，早就不再追求单卡跑分。2026 年 Q2 的行业风向很明确：资金和团队都在看稳定性与真实业务入口，《2026年Q2，AI资本开始追问模型能否用稳》一文指出，推理成本和系统边界正成为核心筛选条件。对于中小团队，与其盲目追新，不如把精力放在工程化上。比如数据预处理环节，可以参考《从数据标注到模型上线：一个完整的NLP分类项目实战记录》里的流水线设计，先把非结构化数据清洗成固定格式的 Tensor，再喂给 NPU。这样能避开大量运行时类型转换报错。如果单卡显存紧张，微调阶段先看 Unsloth 的量化配置，别硬扛。
国产算力这条路上，没有银弹。910C 的硬件参数是实打实的，但软件栈的磨合需要时间。把 torch_npu 当成一个独立的运行时来对待，而不是 PyTorch 的附属品。算子不兼容就写，显存不够就调池，精度不对就换类型。这套逻辑跑通了，迁移的成本就会从“玄学”变成“工程账本”。
