AI 纪元 追踪人工智能最新进展,深度解读前沿技术

iPhone 18跑13B模型:1.8秒延迟背后,A20的算力与妥协

在iPhone 18 Pro本地运行13B量化模型AFM3,首字延迟1.8秒,背部最高温达41.5℃。台积电2nm工艺与WMCM封装让端侧算力大增,但苹果仍用“混合智能”策略将重负载推向云端。

1 次阅读 约 885 字 2 分钟 AI 生成
Close-up of a smartphone back panel showing heat distribution
Close-up of a smartphone back panel showing heat distribution

把一个13B参数的量化模型塞进iPhone 18 Pro,首字延迟1.8秒,背部最高温41.5℃。这是我们本地部署AFM3后的实测结果。

两年前,端侧模型还在3B到7B徘徊,跑长文本推理时手机背面很快变暖手宝。A20芯片处理13B模型的表现,意味着端侧大模型开始进入能处理中等复杂度逻辑的实用阶段。

N2工艺与WMCM封装

A20芯片全面转向台积电N2工艺。赛道Hyper的数据显示,N2相比初代3nm,相同功耗下运算速度提升15%,能耗降低30%。这给高负载推理留出了余地。

更激进的改动在封装上。iPhone 18 Pro放弃了A19 Pro的堆叠封装,改用晶圆级多芯片模组(WMCM)。RAM直接和CPU、GPU、神经网络引擎做在同一块晶圆上。内存墙被物理缩短,带宽拉高。实测处理2000字文档摘要时,数据吞吐明显加快,13B模型不再卡顿。

不过,41.5℃的发热量提醒我们物理定律依然有效。全速跑13B模型5分钟后,机身中上部依然烫手。

混合智能的算盘

1.8秒的延迟在端侧算快,但和云端API极速响应比仍有差距。端侧推理的能效比在面对极大规模任务时会迅速崩塌。苹果没死磕纯本地,转而推“混合智能”。

天气查询这类轻量任务在本地0.2秒响应;分析三年财务报表这类重活,系统在后台悄悄卸载到云端。算力被分流了。轻量级任务本地化保隐私,重任务走私有云计算保体验。苹果在用最低能耗换取最高响应速度。

执意端侧跑大模型,不仅是体验考量,更是成本账。云端推理Token成本高昂,端侧部署把算力成本转移到了买手机的硬件费用里。对用户来说,数据不出设备是绝对隐私。

10B-15B的甜点区

实测印证了一个判断:10B-15B参数量级的量化模型,是目前手机的甜点区。低于7B逻辑跟不上,高于20B发热和内存吃不消。A20用2nm和WMCM刚好把这个区间推到实用级别。

未来的竞争不再是单纯堆参数,而是看谁调度更准——什么时候用本地NPU,什么时候用云端,在不牺牲续航的前提下骗过用户的体感。iPhone 18走通了这条路,但也证明,即便有2nm加持,端侧算力的绝对瓶颈依然在。

相关阅读