昇腾910D跑Llama 3.3:显存碎片与HCCL通信调优实录
把Llama 3.3从英伟达H20迁移到昇腾910D,远不是改个设备名那么简单。在昆山园区的实测中,128K上下文带来的显存碎片和多卡通信延迟成了拦路虎。通过MindIE预分配KV Cache、Ascend C算子融合及
阅读全文关键词:HCCL通信调优
把Llama 3.3从英伟达H20迁移到昇腾910D,远不是改个设备名那么简单。在昆山园区的实测中,128K上下文带来的显存碎片和多卡通信延迟成了拦路虎。通过MindIE预分配KV Cache、Ascend C算子融合及
阅读全文把Llama和Qwen从GPU集群迁到昇腾910D,算子缺失和通信瓶颈是两个最大的坑。基于MindSpore 2.0与CANN的实际操作经验,拆解Custom Op报错、Triton算子开发和HCCL调优的具体做法。
阅读全文