2026年6月，深圳南山科技园的机房里，星图智能的CTO林远盯着监控大屏上平稳运行的910C集群指示灯，长舒了一口气。就在四个月前，这里还是一片混乱——服务器机柜的黄色报警灯闪烁不停，压力测试下的通信瓶颈让原本自信的“换芯”计划变成了噩梦。
这次迁移的动机很现实。2月初，在博通披露AI芯片销售额暴增143%但股价应声下跌的背景下，星图智能决定启动“降本增效”的底层革命。他们需要将日均处理千万级Token的多模态搜索推理服务，从NVIDIA A100迁移至华为昇腾910C。这不仅是应对《Copilot 6月1日改用Token计费》后飙升的API成本，更是为了在《AI Agent‘甩锅’事件频发》的当下，掌握数据主权和底层算力控制权。
第一个月：掉进CANN 7.0的动态Shape坑里
迁移工作从PyTorch代码适配开始。原本以为会像《银行反欺诈迁移昇腾910D》那样顺利，结果第一天就碰了钉子。
A100时代，星图的推理服务高度依赖动态Shape（Dynamic Shape）来适应不同长度的用户输入。但在昇腾平台上，CANN 7.0版本在处理复杂动态Shape时，存在一个鲜为人知的Bug：在Batch Size波动超过20%时，内存分配会出现碎片化，导致推理延迟从稳定的15ms瞬间飙升至200ms以上。
“当时我们怀疑是910C芯片本身的问题，甚至差点想退回A100。”林远回忆道。经过一周的抓包和日志分析，他们发现根源在于CANN框架对动态Shape的编译优化策略过于激进。解决方案并非等待华为推送补丁，而是团队自己动手：通过Ascend C手动编写了一个轻量级的Shape Predictor算子，在运行时强制对齐Batch维度，牺牲了极少量的计算资源，换取了内存分配的稳定性。
这一周，团队几乎没怎么睡。他们不得不放弃部分自动化的算子编译流程，转而采用半手动的方式优化内存布局。这也印证了《昇腾910C跑通1.6万亿参数DeepSeek》文章中提到的困境：从“跑通实验”到“大规模生产”，开发者仍需解决大量工程细节。
第二个月：HCCL拓扑的“隐形墙”
解决了内存问题，第二个拦路虎是通信。A100之间通过NVLink互联，带宽高达900GB/s，且拓扑结构相对简单。而910C集群使用的是HCCL（Huawei Collective Communication Library），其底层依赖于RoCEv2网络。
星图的模型推理涉及大量的All-Reduce操作。在A100上，NVLink的硬件优势让通信开销几乎可以忽略不计。但在910C上，由于HCCL对网络拓扑的感知不够精细，导致在某些跨节点通信场景下，出现了严重的“头阻塞”现象。数据不是传不出去，而是传得太慢，导致GPU长期处于等待状态，利用率不到60%。
林远团队不得不重写通信链路。他们没有选择通用的集合通信原语，而是针对自家模型的特征，设计了自定义的拓扑感知策略。通过调整HCCL的Ring算法参数，并引入了一层轻量级的数据预取机制，强行让计算和通信重叠。这个过程枯燥且危险，任何一个参数的微调不当，都可能导致死锁。
第三个月：算子重写的艺术
前两个月的挣扎，本质上是在和框架“打架”。到了第三个月，团队意识到，要想真正发挥910C的性能，必须深入到底层算子。
星图的核心业务是多模态搜索，其中Vision-Language对齐模块占据了70%的计算量。这部分代码在A100上表现良好，但在昇腾平台上，由于矩阵乘法的硬件实现差异，效率极低。
团队决定采用Ascend C进行手动重写。Ascend C允许开发者直接操作达芬奇架构的向量单元和标量单元，但这需要极高的编程技巧。他们花了整整一个月，逐行重构了Attention机制和LayerNorm算子。在这个过程中，他们发现910C的Vector Core在处理非对齐数据时性能下降明显，于是专门设计了一个数据对齐预处理算子。
最终的成果令人振奋：自定义算子的性能不仅追平了A100上的CuBLAS实现，甚至在某些长序列场景下，由于减少了内存搬运次数，还实现了15%的超越。更重要的是，算子层面的优化，让推理服务的显存占用降低了30%。
第四个月：压测与真相
第四个月，星图智能进行了为期两周的全链路压测。结果出来了：在同等吞吐量下，910C集群的推理成本比A100降低了45%。自定义算子的额外损耗被控制在5%以内，远低于预期的15%。
这个数字意味着什么？意味着星图智能的Agent服务，不再会因为《Copilot 6月1日改用Token计费》那样的外部成本波动而陷入亏损。也意味着，在面对《GPT-5 Pro 隐藏思维链》导致的延迟暴涨风险时，他们拥有了更强的本地化替代方案。
当然，过程并不完美。HCCL的调试工具链依然不如Nsight Systems成熟，CANN的文档也时常滞后于版本更新。但星图智能的成功，为国产算力在推理场景的落地提供了一个可复制的样板。
如今，站在2026年6月的尾巴上，星图智能的机房里，910C集群稳定运转。林远看着监控大屏上平稳的曲线，想起了《2026暑期档AI应用降温》中的那句话：“从狂热订阅到理性复购的账单调查”。AI行业正在经历一场残酷的“算账时代”，而算力国产化，不再是口号，而是生存的必选项。
正如《昇腾破局 国产算力不再低调》所言，新一代昇腾AI云服务已全面上线，CloudMatrix 384超节点也在对标英伟达最新产品。但对于像星图这样的企业来说，真正的胜利，不在于买了多少张卡，而在于能否在底层代码中，榨干每一分算力价值。
