2026年,把13B参数的大模型塞进手机本地运行,已经是国产旗舰机的标配功能。我们拿到了三款手机——代号“玄甲15 Pro”、“龙芯A1”和“天玑9400+”,实测它们运行量化至4-bit的13B端侧模型时,到底能不能用。
启动快,不代表用着顺
第一次加载模型,三款手机的时间分别是3.2秒、2.8秒和2.1秒,“天玑9400+”最快,靠的是更大的内存带宽。
但真上手用,问题就来了。我们让它们连续发指令,或者处理需要理解上下文的复杂任务。简单任务下,响应都挺快。可一旦对话变长,超过2000个token,“玄甲15 Pro”和“龙芯A1”的反应就会慢到3-4秒,界面都卡。“天玑9400+”能稳在2秒左右。芯片怎么调度内存、怎么计算,在这种压力下差别立现。
功耗和发热:像玩大型游戏
本地跑13B模型,功耗根本压不住。我们在25度室温下,用功耗仪监测了15分钟连续对话。
结果吓人:三款手机平均功耗都超了5W,“龙芯A1”峰值摸到6.3W。这已经和高画质玩手游差不多了。直接后果是烫手,10分钟后背面温度全过42度,“玄甲15 Pro”最高到44.5度,握着已经觉得烫。
续航更是崩了。从满电跑到剩20%电量,三款手机平均只撑了1小时50分钟。想用它润色篇短文?得先找好充电器。这印证了我们之前的观察:堆大参数,不如把场景做透、把硬件和软件拧成一股绳。
软件拖后腿,应用也稀缺
硬件强只是一半。我们发现,软件优化才是体验好坏的关键。“天玑9400+”能稳一些,是因为有合作实验室为它的指令集专门优化了推理框架和模型。另外两款虽然理论算力强,但跑的是通用模型,内存调度和计算都有浪费。
更尴尬的是,除了手机自带的几个助手,几乎没第三方App会调用这块端侧AI算力。开发者更爱做云端,或者为特定边缘场景开发,为手机原生适配的积极性很低。没应用,用户就少用;用户少,开发者就更不想投入。循环就这么卡住了。
现在该怎么选?
如果你是消费者,现在为“本地跑大模型”这个卖点换机,时机不成熟。除非你对隐私极其敏感,又能忍受发热和短续航,否则用云端API,或者试试性能不错的3B级别小模型,体验可能更均衡。
如果你是开发者,现在布局端侧AI,别盯着13B这种大家伙。更务实的方向是利用芯片的NPU,去做超低功耗的实时语音唤醒、图像预处理、传感器数据融合这些事。把数据精简了,再送给云端或本地小模型处理。这比单纯堆算力,商业前景更清晰。
平衡点,还在路上
这次测试画出了一条线:技术演示和日常实用之间的鸿沟。芯片的峰值算力不那么重要了,在持续负载下的能效、内存带宽的稳定性、软件优化的程度,这三样决定了体验。
想让手机本地舒服地用大模型,平衡点或许不在让模型越来越大,而在让芯片更聪明地分配任务:轻活本地干,重活交出去。这条路难走,但更实在。