90天从A100切换到910D，我们踩过的坑和算出的账
深圳星图智能用90天完成从A100到昇腾910D的迁移。自定义算子性能骤降30%，通过Ascend C重写和HCCL拓扑调整，将损耗控制在5%以内，集群稳定率提升至99.5%。最终硬件成本降40%，综合TCO下降近35%
阅读全文
Search
站内搜索
关键词：优化
找到 212 篇相关文章
A100换910C实录：重写算子与调优HCCL的四个月
深圳星图智能历时四个月，将推理服务从A100迁移至昇腾910C。团队直面CANN 7.0动态Shape Bug及HCCL拓扑差异，通过Ascend C重写关键算子并优化通信，最终实现推理成本降低45%，自定义算子损耗控制
阅读全文银行反欺诈迁移昇腾910D：从120毫秒延迟到18毫秒的工程实战
2025年中，某股份制银行将GNN反欺诈系统迁移至昇腾910D时遭遇严重延迟问题。通过Ascend C定制算子优化内存访问，并利用盘古大模型生成合成数据进行量化感知训练，团队历时两个月将平均延迟压至18毫秒，同时保持高精
阅读全文GPT-5 Pro 隐藏思维链：延迟暴涨与成本失控
2025年8月7日发布的GPT-5 Pro默认开启延伸推理，其内部隐藏的思维链机制导致API响应延迟激增、Token消耗翻倍。开发者无法直接截断该过程，只能通过模型分层路由、异步调用及提示词约束，在保持推理质量的同时控制
阅读全文关掉Wi-Fi跑70B模型：手机端侧算力的真实账本
DeepSeek蒸馏模型在香橙派和玄铁C920上的快速适配，展示了端侧算力优化的方向。LPDDR5X/6的普及让手机运行量化大模型成为可能，但42℃的温度墙和能耗比限制了其实用性。端侧AI更多是隐私保护和高频轻量任务的补
阅读全文
前沿研究
手机端能效反超云端？Arm 2026新预测揭开端侧AI真相
2026年初，Arm发布20项技术预测，指出计算重心正从云端向边缘转移。随着Kleidi指令集优化异构计算，iPhone 19、小米16等机型在处理多模态任务时展现更高能效。相比云端GPU的高功耗与合规风险，端侧推理凭借
阅读全文2026液冷选型：从风冷极限到TCO算账
英伟达Vera Rubin单芯片功耗突破2000W，风冷物理极限显现。新华三S90000将PUE压至1.05以下。基于5MW规模数据中心，拆解冷板与浸没式方案的CAPEX/OPEX差异，分析在电价与政策双重压力下，液冷如
阅读全文深圳跨境电商单周账单暴涨300%，AI Agent成本怎么管？
6月中旬，深圳一家跨境服饰企业单周API费从2万飙至8万，罪魁祸首是AI导购Agent的死循环。文章拆解上下文膨胀、重试风暴与影子IT三大成本黑洞，基于openEuler社区实测与Usage.ai监测数据，分享细粒度标签
阅读全文深圳千卡集群跑通1.6万亿参数：30% MFU背后的硬核细节
2026年6月，深圳河套学院联合华为团队，依托1000颗昇腾910C完成DeepSeek-V4-Pro全参数训练。在MFU稳定30%、故障率0.3‰的背后，是算子适配、HCCL拓扑优化及长序列显存管理的实战经验。本文拆解
阅读全文端侧大模型变了：从拼参数到拼系统配合
2026年，端侧AI竞争焦点从模型压缩转向软硬件协同。苹果WWDC2026发布AFM3系列，强调结构与芯片的配合；安卓阵营则在算力堆料与量化适配上寻找突破口。行业人才需求也从基础算法转向系统级优化。
阅读全文电商618退货潮复盘：AI客服如何帮中小商家挽回利润
2026年618大促不仅是销量的战场，更是退货率的博弈。本文拆解中小电商实战案例，揭示多模态AI客服如何通过视觉质检、风险预测和精准挽留，将退货率从12%压降至5%以下，直接挽回千万级利润损失。
阅读全文1000卡昇腾910C跑通1.6万亿参数：MFU超30%的工程账
6月，深圳河套学院等团队利用1000颗昇腾910C，成功完成DeepSeek-V4-Pro全参数后训练，算力利用率(MFU)超30%，故障率仅0.3‰。文章拆解千卡集群实战中的三大痛点：HCCL通信拓扑优化、长序列显存碎
阅读全文