7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文
Search
站内搜索
关键词：手机NPU
找到 3 篇相关文章
手机多模态推理压到200毫秒，先拆内存墙
拍照提问时，2秒等待足以打断操作，200毫秒才接近即时反馈。3B级模型要缩短首字延迟，得同时减少权重、视觉Token与KV Cache搬运，并让量化方案真正匹配Arm指令和手机NPU。
阅读全文
前沿研究
端侧AI手机实测：NPU算力暴涨，但APP适配为何卡脖子
2026年旗舰机NPU算力突破100TOPS，但本地运行7B-14B模型仍卡顿、耗电。实测荣耀、小米、OPPO三款新机，解析芯片厂、手机厂商与APP开发者的三方博弈，并给出选购建议。端侧AI的爆发，最终不是算力军备竞赛能
阅读全文