开发者生态
11520张昇腾910C并行，训练抖动先查哪条链路
11520张昇腾910C接入同一集群后，单个慢节点、端口错误或集合通信阻塞，都可能把等待扩散到整个任务。排查要把训练时间线、HCCL算子和交换机端口指标对齐，再决定是否调整通信算法、超时策略和任务编排。
阅读全文
Search
站内搜索
关键词：分布式训练
找到 12 篇相关文章
开发者生态
BIGAI新架构落地实测：国产算力集群延迟降低40%的路径
针对国产算力集群在多机多卡通信中的“延迟墙”问题，北京通用人工智能研究院（BIGAI）通过一套新的通信拓扑调度架构，将集群同步延迟降低了40%。本文拆解其从算子级优化到拓扑感知的技术路径，分析该突破如何降低中小开发者的训
阅读全文
前沿研究
昇腾910C扩到万卡前，先查通信和显存
千卡训练跑通，不等于万卡可以照搬。公开参数显示，昇腾910C配备96GB HBM、1.8TB/s显存带宽和400GB/s HCCS；规模继续放大后，HCCL通信、并行切分和显存分配都要先做现场压测。
阅读全文
开发者生态
昇腾910C千卡集群排雷：分布式通信瓶颈与显存优化实录
基于8000P园区实战，拆解昇腾910C在万卡规模下的高频报错。从HCCS通信死锁到显存碎片化，提供可复用的调试脚本与CANN参数调优方案，直击国产算力大模型训练的工程深水区。
阅读全文
开发者生态
前沿研究
昇腾910C训练频繁OOM，问题可能出在显存碎片
一次1024卡昇腾910C训练中，单卡峰值占用82GB，却在第437步集体OOM。排查发现，14GB空闲显存被切成最大仅3GB的连续块。通过定期紧凑和内存池预分配，项目将单步时间从4.7秒降至3.8秒，MFU由31%升至
阅读全文星图智能90天迁移910D：算子掉速30%后的运维解法
DeepSeek V4在昇腾跑通后，910D的运维压力凸显。深圳星图智能90天迁移A100到910D，硬件省了40%，但算子性能掉了30%。复盘银行GNN延迟从120ms飙至300ms的HCCL拓扑调优，以及河套学院处理
阅读全文1000卡昇腾910C跑通1.6万亿参数：MFU超30%的工程账
6月，深圳河套学院等团队利用1000颗昇腾910C，成功完成DeepSeek-V4-Pro全参数后训练，算力利用率(MFU)超30%，故障率仅0.3‰。文章拆解千卡集群实战中的三大痛点：HCCL通信拓扑优化、长序列显存碎
阅读全文
开发者生态
DeepSeek V4 千卡实战：昇腾 910D 通信与显存调优细节
DeepSeek V4 Pro（1.6万亿参数）在华为昇腾集群的训练实践，暴露出千卡并行下的通信延迟与长序列显存碎片痛点。文章基于《经济观察报》2026年5月报道及实测数据，拆解了HCCL拓扑配置、异步梯度同步阈值调优及
阅读全文昇腾910C千卡调优实战复盘：损耗从1%压到0.1%
某头部大模型团队将模型从70B扩至175B时，昇腾910C千卡集群的单Epoch训练耗时比预期多1.5天，效率卡在85%。我们复盘其通过CANN工具链调优通信、用MindSpore静态图解决显存碎片，把性能损耗从1%压到
阅读全文万亿参数MoE模型的训练与推理实战：从DeepSeek-V3到国产开源新贵的工程挑战与解决方案
本文深入剖析2026年万亿参数MoE模型在训练与推理中面临的工程挑战，以DeepSeek-V3及国产开源新贵为例，系统解析数据准备、分布式训练、高效推理的全流程，并结合国产算力生态与AI安全合规新要求，为开发者提供面向A
阅读全文开发者工具链2026年中盘点：AGI研发效率提升的关键在哪里？
本文深度盘点2026年上半年涌现的、专注于提升AGI研发效率的新型开发工具、框架和平台。聚焦分布式训练优化、AI原生调试工具、多模态数据集管理、智能体开发框架等前沿领域，分析工具链的演进如何驱动AGI从实验室走向规模化应
阅读全文