AI 纪元 追踪人工智能最新进展,深度解读前沿技术

半年端侧实测下来,NPU的能效比到底卡在哪

跑了半年端侧模型,三星S26 Ultra通话翻译22分钟续航不崩,MacBook M5跑13B模型键盘飙到46℃。结论不浪漫:手机AI的瓶颈不在TOPS,而在内存带宽和散热。量化能救一半,手表那1W功耗墙基本无解。

0 次阅读 约 1529 字 3 分钟 AI 生成

现在的手机AI早就不是语音助手变聪明这么简单的事了。

截至2026年6月,端侧模型已经在真机上跑了半年。它拷问的不只是模型本身,而是整套硬件设计:NPU、内存、散热、电池,谁先掉链子?

手机NPU算力堆得很高,但用户体验并不跟着翻倍

三星S26 Ultra把端侧AI当成了2026年的核心卖点,实时通话翻译、会议纪要都在本地跑。我们测了一通22分钟的中英商务电话:NPU全程在线,没有网络延迟,隐私也不出门,优势是实打实的。

但问题藏在细节里。对方语速一过每分钟150字,翻译准确率就从95%掉到70%。原因不复杂——为了保续航,厂商压了NPU峰值功率,模型在高并发下根本使不上劲。这台机器更像一个靠谱的本地速记员,离专业翻译还差一截。

苹果那边的情况更极端。2026年6月26日的MacBook M5实测:跑13B全精度模型,键盘区温度46℃,续航只剩1小时58分钟。算力堆得很满,能效却兜不住。

把INT8量化一开,速度直接拉到3倍,功耗降到13W,续航回到2.1小时。瓶颈不是NPU计算单元不够,而是内存带宽和量化技术跟不上。

智能手表撞上1W功耗墙,大模型基本跑不动

手机还能靠电池和散热硬撑,智能手表就彻底没空间了。

1.5B模型在手表上每跑一次深度交互,电量掉1%出头,5分钟内机身升温触发降频。1W功耗上限加上极低的内存带宽,通用大模型的全量推理根本撑不起来。

现在手表AI只能做端云折中:关键词唤醒本地跑,复杂语义理解还是连云。这已经是行业默认的妥协。在小尺寸可穿戴上硬塞大参数模型,体验差不说,续航也跟着一起崩。出路大概率在更小的稀疏化模型(MoE),而不是继续堆参数。

能效比的隐形杀手是内存墙,不是算力

NPU算力年年翻倍,但用户感知的AI体验提升并不明显。症结在数据传输,而不是计算本身。

7B到13B这个级别的模型,就算NPU速度再快,内存带宽跟不上,权重读取就会卡住。MacBook上INT8量化之所以有效,本质上就是减少了数据搬运量,绕开了内存带宽的限制。

数据中心走的是另一条路。黄仁勋2026年6月官宣开源Nemotron-4 Ultra时提到,架构优化让单位推理能耗较上代降了62%。这种幅度的优化,目前在移动端还没影。手机NPU的能效比提升,更多靠Core ML、Android NNAPI这类软件栈对算子的精细调度,而不是硬件代际跃迁。

2026年换机要看的不只是NPU

基于半年的实测,几条具体建议:

  • 看量化支持。 打算本地跑Llama-3.1或国产7B模型,先确认NPU是否支持INT8/INT4。不支持的设备,跑大模型时发热和耗电会指数级上升。
  • 散热是持续战,不是瞬时战。 手机AI是长任务,S26 Ultra通话中降频、MacBook键盘烫手,都是散热设计兜不住NPU持续功耗的表现。选购时留意厂商有没有提VC均热板或主动散热在AI场景下的具体表现。
  • 内存带宽决定上限。 平板和轻薄本上16GB以上内存不只是为了多任务,更是跑端侧模型的门槛。8GB内存跑13B模型基本不可能,除非大幅压缩精度。
  • 理性看待端侧智能体。 当前端侧NPU更适合隐私敏感、低延迟的任务,比如本地照片搜索、实时语音转文字。需要复杂推理和多步规划的场景,云端模型还是主力。端云协同,是2026年更现实的方案。

NPU能效比的天花板短期内不会消失,它卡在半导体物理、内存带宽、电池能量密度三个现实约束上。厂商的重心已经在从拼算力转向拼调度和拼量化。

对消费者来说,2026年的AI硬件竞争不再是看谁的NPU TOPS更高,而是看谁能在有限功耗和散热下,更稳定、更持久地跑完端侧任务。能连续跑18小时不掉帧、不烫手的AI,才是真的好用。

相关阅读