7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文
Search
站内搜索
关键词：端侧大模型功耗
找到 3 篇相关文章
前沿研究
端侧AI开始算功耗账，苹果与高通走了两条路
苹果把省电做进约200亿参数的稀疏模型，高通则用混合精度降低推理能耗，并称骁龙8 Gen 4端侧大模型功耗下降40%。两套方案暂时缺少统一实测，38TOPS也不能代替持续运行时的温度、降频和适配成本。
阅读全文端侧大模型功耗墙：手机厂商如何解决70B模型的发热难题
iPhone 19跑70B模型1.2秒响应却因过热降频，揭示了端侧AI从‘能跑’到‘好用’的巨大鸿沟。本文拆解2026年手机厂商如何通过异构计算、动态量化与新型散热材料，在NPU算力与续航之间寻找平衡点。
阅读全文