昇腾910D跑Llama:算子缺口和HCCL通信怎么填
把Llama和Qwen从GPU集群迁到昇腾910D,算子缺失和通信瓶颈是两个最大的坑。基于MindSpore 2.0与CANN的实际操作经验,拆解Custom Op报错、Triton算子开发和HCCL调优的具体做法。
阅读全文关键词:昇腾910D
把Llama和Qwen从GPU集群迁到昇腾910D,算子缺失和通信瓶颈是两个最大的坑。基于MindSpore 2.0与CANN的实际操作经验,拆解Custom Op报错、Triton算子开发和HCCL调优的具体做法。
阅读全文2026年5月,美国商务部调整AI芯片出口管控。深圳星图智能随即启动A100至昇腾910D迁移,承接1.6万亿参数的DeepSeek V4-Pro训练。团队遭遇梯度累加导致的30%掉速及严重显存碎片,通过重构HCCL拓扑
阅读全文2026年6月底,OpenAI强调“韧性”的新政与纽约法院强制保留ChatGPT日志的裁定同步落地,敲碎了AI粗放发展的幻想。深圳一家电商因Agent死循环4小时损失52万的教训,直接推动了企业向端侧私有化和国产算力迁移
阅读全文DeepSeek V4在昇腾跑通后,910D的运维压力凸显。深圳星图智能90天迁移A100到910D,硬件省了40%,但算子性能掉了30%。复盘银行GNN延迟从120ms飙至300ms的HCCL拓扑调优,以及河套学院处理
阅读全文深圳星图智能用90天完成从A100到昇腾910D的迁移。自定义算子性能骤降30%,通过Ascend C重写和HCCL拓扑调整,将损耗控制在5%以内,集群稳定率提升至99.5%。最终硬件成本降40%,综合TCO下降近35%
阅读全文2025年中,某股份制银行将GNN反欺诈系统迁移至昇腾910D时遭遇严重延迟问题。通过Ascend C定制算子优化内存访问,并利用盘古大模型生成合成数据进行量化感知训练,团队历时两个月将平均延迟压至18毫秒,同时保持高精
阅读全文DeepSeek V4 Pro(1.6万亿参数)在华为昇腾集群的训练实践,暴露出千卡并行下的通信延迟与长序列显存碎片痛点。文章基于《经济观察报》2026年5月报道及实测数据,拆解了HCCL拓扑配置、异步梯度同步阈值调优及
阅读全文昇腾910D跑Llama 4 70B首字延迟2.3秒,是A100的3倍。单卡吞吐达A100的83%,但集群通信和算子适配仍是短板。自建集群和调用API成本差距悬殊:日均百万请求,自研年运维17万,API要365万。文中还
阅读全文2026年6月,某股份制银行在实时风控系统上完成昇腾910D集群压测。单卡推理吞吐2500 TPS,p99延迟6.8ms,达到A100的83%。但集群通信、算子迁移和稳定性仍有差距。实测数据对比A100/H100,梳理C
阅读全文