半年端侧实测下来,NPU的能效比到底卡在哪
跑了半年端侧模型,三星S26 Ultra通话翻译22分钟续航不崩,MacBook M5跑13B模型键盘飙到46℃。结论不浪漫:手机AI的瓶颈不在TOPS,而在内存带宽和散热。量化能救一半,手表那1W功耗墙基本无解。
阅读全文关键词:NPU能效比
跑了半年端侧模型,三星S26 Ultra通话翻译22分钟续航不崩,MacBook M5跑13B模型键盘飙到46℃。结论不浪漫:手机AI的瓶颈不在TOPS,而在内存带宽和散热。量化能救一半,手表那1W功耗墙基本无解。
阅读全文