前沿研究
昇腾910D跑Llama 3.3：显存碎片与HCCL通信调优实录
把Llama 3.3从英伟达H20迁移到昇腾910D，远不是改个设备名那么简单。在昆山园区的实测中，128K上下文带来的显存碎片和多卡通信延迟成了拦路虎。通过MindIE预分配KV Cache、Ascend C算子融合及
阅读全文
Search
站内搜索
关键词：Llama 3.3
找到 6 篇相关文章
前沿研究
前沿研究
昇腾910D集群调优实录：从HCCL通信到算子适配的避坑指南
基于昆山8000P算力园区运行数据，拆解Llama 3.3与DeepSeek V4迁移至昇腾910D的工程细节。重点解决HCCL通信延迟、Ascend C算子适配及MindIE显存碎片问题，提供国产算力落地实录。
阅读全文
开发者生态
昇腾910D跑Llama 3.3：算子缺失与显存墙怎么破？
昇腾910D跑Llama 3.3，直接加载权重常遇算子报错。结合CANN 8.0与MindIE框架，用Ascend C自定义算子和MindQuantize量化工具可解决显存瓶颈。梳理了从环境配置到算子适配的工程避坑点。
阅读全文告别云端依赖：2026 年私有化部署 LLM 的硬件选型与散热实测
2026年本地LLM性能追平云端，但70B+模型硬件门槛不低。本文对比双RTX 4090、A6000等方案在70B-100B模型上的显存占用与延迟，分享外置水冷改装将温度从85°C降到55°C的实测经验，并提供功耗优化技
阅读全文70B模型本地实测：iPhone 17 Pro的0.8秒与10分钟
在iOS 20开发者预览版中，iPhone 17 Pro通过4-bit量化实现了Llama 3.3 70B模型的本地运行，首字延迟0.8秒。但连续复杂推理10分钟后，手机温度飙至65℃，性能大幅降频。苹果用三层意图分流机
阅读全文实测昇腾910C与思元590：推理成本砍六成，算子填坑要两周
华为昇腾910C与寒武纪思元590跑Llama 3.3和Qwen 2.5实测：精度损失1%内，速度慢9%-18%，但单卡采购价仅为H100的三成多。标准化微调可替代，自定义CUDA算子仍需转译填坑。
阅读全文