把一个13B参数的量化模型塞进iPhone 18 Pro,首字延迟1.8秒,背部最高温41.5℃。这是我们本地部署AFM3后的实测结果。
两年前,端侧模型还在3B到7B徘徊,跑长文本推理时手机背面很快变暖手宝。A20芯片处理13B模型的表现,意味着端侧大模型开始进入能处理中等复杂度逻辑的实用阶段。
N2工艺与WMCM封装
A20芯片全面转向台积电N2工艺。赛道Hyper的数据显示,N2相比初代3nm,相同功耗下运算速度提升15%,能耗降低30%。这给高负载推理留出了余地。
更激进的改动在封装上。iPhone 18 Pro放弃了A19 Pro的堆叠封装,改用晶圆级多芯片模组(WMCM)。RAM直接和CPU、GPU、神经网络引擎做在同一块晶圆上。内存墙被物理缩短,带宽拉高。实测处理2000字文档摘要时,数据吞吐明显加快,13B模型不再卡顿。
不过,41.5℃的发热量提醒我们物理定律依然有效。全速跑13B模型5分钟后,机身中上部依然烫手。
混合智能的算盘
1.8秒的延迟在端侧算快,但和云端API极速响应比仍有差距。端侧推理的能效比在面对极大规模任务时会迅速崩塌。苹果没死磕纯本地,转而推“混合智能”。
天气查询这类轻量任务在本地0.2秒响应;分析三年财务报表这类重活,系统在后台悄悄卸载到云端。算力被分流了。轻量级任务本地化保隐私,重任务走私有云计算保体验。苹果在用最低能耗换取最高响应速度。
执意端侧跑大模型,不仅是体验考量,更是成本账。云端推理Token成本高昂,端侧部署把算力成本转移到了买手机的硬件费用里。对用户来说,数据不出设备是绝对隐私。
10B-15B的甜点区
实测印证了一个判断:10B-15B参数量级的量化模型,是目前手机的甜点区。低于7B逻辑跟不上,高于20B发热和内存吃不消。A20用2nm和WMCM刚好把这个区间推到实用级别。
未来的竞争不再是单纯堆参数,而是看谁调度更准——什么时候用本地NPU,什么时候用云端,在不牺牲续航的前提下骗过用户的体感。iPhone 18走通了这条路,但也证明,即便有2nm加持,端侧算力的绝对瓶颈依然在。