昇腾 910C 算子调优:先把数据搬运压下来,再谈自定义算子
长上下文推理变慢,不一定是算力不足,数据搬运、临时张量和算子下发也可能占大头。围绕昇腾 910C,梳理如何用 profiling 判断是否值得写 Ascend C 自定义算子,并处理 32 字节对齐、Tiling、融合和
阅读全文关键词:Ascend C
长上下文推理变慢,不一定是算力不足,数据搬运、临时张量和算子下发也可能占大头。围绕昇腾 910C,梳理如何用 profiling 判断是否值得写 Ascend C 自定义算子,并处理 32 字节对齐、Tiling、融合和
阅读全文torch_npu 能让 PyTorch 模型较快接入昇腾,但代码执行成功只解决了第一道问题。延迟、OOM、长尾算子和 CANN 日志定位,会直接影响迁移能否稳定交付。团队还要判断:继续用兼容层,还是为热点算子投入 As
阅读全文把一套在 PyTorch 上训练半年的 VL-Mamba 模型搬到昇腾 910C 集群,20 天里真正耗时的是自定义算子、数值对齐和 HCCL。切到 MindSpore 并重写 Ascend C 算子后,项目平均 MFU
阅读全文把Llama 3.3从英伟达H20迁移到昇腾910D,远不是改个设备名那么简单。在昆山园区的实测中,128K上下文带来的显存碎片和多卡通信延迟成了拦路虎。通过MindIE预分配KV Cache、Ascend C算子融合及
阅读全文基于昆山8000P算力园区运行数据,拆解Llama 3.3与DeepSeek V4迁移至昇腾910D的工程细节。重点解决HCCL通信延迟、Ascend C算子适配及MindIE显存碎片问题,提供国产算力落地实录。
阅读全文昇腾910D跑Llama 3.3,直接加载权重常遇算子报错。结合CANN 8.0与MindIE框架,用Ascend C自定义算子和MindQuantize量化工具可解决显存瓶颈。梳理了从环境配置到算子适配的工程避坑点。
阅读全文深圳星图智能用90天完成从A100到昇腾910D的迁移。自定义算子性能骤降30%,通过Ascend C重写和HCCL拓扑调整,将损耗控制在5%以内,集群稳定率提升至99.5%。最终硬件成本降40%,综合TCO下降近35%
阅读全文深圳星图智能历时四个月,将推理服务从A100迁移至昇腾910C。团队直面CANN 7.0动态Shape Bug及HCCL拓扑差异,通过Ascend C重写关键算子并优化通信,最终实现推理成本降低45%,自定义算子损耗控制
阅读全文2025年中,某股份制银行将GNN反欺诈系统迁移至昇腾910D时遭遇严重延迟问题。通过Ascend C定制算子优化内存访问,并利用盘古大模型生成合成数据进行量化感知训练,团队历时两个月将平均延迟压至18毫秒,同时保持高精
阅读全文