把一个700亿参数的大模型塞进手机,听起来很酷。但2026年WWDC后的实测告诉我们,酷的代价可能是大腿被烫伤。
苹果在iOS 20和M5芯片上做到了:完全本地运行70B模型,首字延迟压到1.2秒。听起来像未来已来。
但这个未来有保质期——大约10分钟。
1.2秒的快感,终结于65℃
我们给测试机安排了一个复杂任务:从相册里找出发票、识别数据、生成表格,再自动写邮件。前几分钟,M5芯片的NPU全力运转,识别和生成都飞快。
但到了第7分钟,机身背面开始发烫。红外测温显示,芯片区域温度从34℃爬到了58℃。
第10分钟,任务进行到跨应用比对时,最高温度冲到了65℃。这个温度,裸机拿在手里已经烫得受不了。
紧接着,iOS的电源管理进程强行介入。为了不让芯片烧掉,系统开始降频。NPU的负载从95%直接掉到30%。结果就是,原本1.2秒的响应,变成了5.4秒。每秒生成的Token从25个,掉到5个。
从30B到70B,是完全不同的物理题
不久前,我们测试过M5芯片的iPad跑30B模型。得益于更大的机身和散热空间,iPad能撑住。
但70B模型是另一回事。即便经过量化压缩,它也需要占用至少35GB内存,迫使M5的内存带宽和NPU持续高负载运转。整机瞬时功耗能突破15W。
对于没有风扇的手机来说,15W就像在口袋里揣了个暖手宝。我们之前测试iPhone 17 Pro跑本地Agent时,就发现A19 Pro芯片已经顶到了散热墙。现在,iOS 20想在移动端塞进70B模型,无疑是把这个矛盾激化了。
这不只是苹果的问题。2026年,整个端侧AI行业都在面对“散热大考”。决定模型好不好用的,越来越不是跑分,而是设备能扛住多久不降频。
堆料到头,混合架构才是出路
单纯靠芯片设计,已经很难突破这堵物理墙。就算苹果的统一内存架构再高效,也挡不住70B模型持续运算产生的热量。
把所有任务都压在端侧,有点理想主义。现在,更务实的方案是端云协同:
- 手机上跑小模型(3B或8B),处理屏幕识别、通知摘要这类轻量任务,功耗低,响应快。
- 遇到复杂的长链条推理,比如跨应用处理数据,手机先在本机做隐私脱敏,再把加密数据发到苹果的私有云,用云端大模型处理完返回结果。
降温,比跑分更重要
Apple Intelligence 2.0 的这次实测,最直接的结论是:端侧AI的瓶颈,不在算力,在散热。
在散热材料没有革命性突破之前,手机上跑70B模型,可能永远只是个“展示模式”——前几分钟惊艳,然后迅速归于平庸。对日常使用来说,一个能持续稳定工作几小时的8B模型,或许比一个只能坚持10分钟的70B“火炉”实用得多。