站内搜索

MoE 架构跑通万亿参数了，但显存碎片正在拖垮推理速度

MoE 模型的万亿参数竞赛并未带来推理端的红利，反而因专家权重全量驻留引发的显存碎片化和访存瓶颈，让推理延迟居高不下。本文拆解 Llama-4 类架构下的调度难题，并结合昇腾等厂商的最新无损优化方案，探讨从算子调度到底层