站内搜索

MoE架构下放边缘设备，内存墙还在怎么破

MoE架构通过稀疏激活降低了计算量，但其庞大的参数体量在端侧设备上触发了严重的内存带宽瓶颈。本文分析MoE在手机端的“存储墙”困境，并提供KV Cache量化与专家路由控制的实操方案，帮助开发者在有限显存下跑通模型推理。