从CUDA迁到昇腾910C的第三个月,三个性能坑才露出来
团队把基座模型微调从英伟达A100迁到8卡昇腾910C的Atlas 800。三个月后,最耗时的不是改接口,而是复合算子、显存碎片和跨机AllReduce。附内部实测与九项检查清单。
阅读全文关键词:性能
团队把基座模型微调从英伟达A100迁到8卡昇腾910C的Atlas 800。三个月后,最耗时的不是改接口,而是复合算子、显存碎片和跨机AllReduce。附内部实测与九项检查清单。
阅读全文Vera Rubin采用全液冷,WAIC 2025公开展示昇腾384超节点。液冷解决高热密度散热,超节点与调度处理多卡协同和资源分配。但现有材料中的“30%”指AI框架性能提升,不能直接写成集群成本下降。
阅读全文DeepSeek-V4-Pro已在昇腾910C集群完成全参数后训练,说明这套软硬件承接过1.6万亿参数模型任务。对PyTorch团队,更现实的考验是算子覆盖、版本匹配、OOM定位和性能复现。
阅读全文一套混合集群能否上线,关键看算子重写、数值对齐、HCCL/NCCL双栈、预热和运维。现有记录给出20天迁移、8ms延迟、45秒预热等数据,但测试配置并不完整,适合做项目预算,不宜直接外推为芯片结论。
阅读全文公开资料只确认了 Sora 与 Sora 2,所谓 Sora 3.5 的性能参数和价格尚无官方依据。影视公司应按可交付镜头核算生成、返工与修复成本,再决定如何调整渲染农场。
阅读全文vLLM 的性能优势,核心来自 PagedAttention 对 KV Cache 的分页管理。它借鉴虚拟内存,把逻辑连续的数据映射到非连续内存块,再配合块级调度和缓存共享,减少显存浪费。长上下文能快多少,仍取决于模型、
阅读全文实地探访华东某8000P算力园区,以运营工程师视角拆解一张高达860万的月度电费单。文章深度复盘高密机柜的功率约束,对比冷板式与浸没式液冷架构在不同IT负载下的真实PUE表现,并揭示算力闲置期因底座设备空转造成的结构性能
阅读全文30亿参数的 VibeThinker-3B,在数学、竞赛编程等可验证推理任务上进入多款前沿模型的性能区间。公开路线包含 SFT、多领域强化学习、离线自我蒸馏和最终 RL 指令微调;GRPO、训练卡时与复现成本仍缺少材料支
阅读全文从H200/H800的CUDA环境迁到昇腾910C,费时的往往是算子兼容、HCCL通信和内存稳定性。纸面参数只划出边界,项目仍要按迁移分析、适配、精度调试和性能调优逐项验证。
阅读全文Python仍主导训练、Notebook和原型开发,Rust更适合LLM网关、本地Agent、工具运行时、MCP及内存敏感组件。所谓“去Python化”更像生产栈分工:保留Python的迭代速度,把故障代价高的热路径单独
阅读全文chacun.cpp 开源一周,Star 数突破 8500。我们把它装进 4GB 内存的 iPhone 11,复现读取 3.2MB CSV、三次工具调用和摘要生成:首次运行峰值占用 3.8GB,量化后常驻内存降到约 1.
阅读全文2026年,AI代理从云端走向端侧,功耗成为关键瓶颈。Arm高管频频发声,强调能效是下一阶段竞争焦点。从Arm AGI CPU的发布到20项技术预测,本文梳理Arm的低功耗设计哲学如何影响手机与PC芯片的本地推理性能,并
阅读全文