技术应用
GPT-5级模型进内网，先算清三笔显存账
企业评估GPT-5级MoE模型私有化时，GPU报价只是起点。专家路由、KV Cache和FP8适配会直接影响吞吐与账单。先确认权重和授权，再用真实业务流量测试H100、昇腾910D等现有硬件，比照搬云端参数更可靠。
阅读全文
Search
站内搜索
关键词：显存墙
找到 2 篇相关文章
技术应用
开发者生态
昇腾910D跑Llama 3.3：算子缺失与显存墙怎么破？
昇腾910D跑Llama 3.3，直接加载权重常遇算子报错。结合CANN 8.0与MindIE框架，用Ascend C自定义算子和MindQuantize量化工具可解决显存瓶颈。梳理了从环境配置到算子适配的工程避坑点。
阅读全文