AI 纪元 追踪人工智能最新进展,深度解读前沿技术

iPhone 19 端侧跑 70B 模型:快、烫,且会算错数

在弱信号电梯里拆封即测iPhone 19 Pro Max的Apple Intelligence 2.0。70B模型首字1.2秒,离线全功能可用。但持续生成10分钟,手机发烫、降频至2.8秒,逻辑题答错两道。轻任务够用,复杂场景仍需云。

0 次阅读 约 1016 字 2 分钟 AI 生成

刚拆封装,我没导通讯录,而是关掉Wi-Fi走进电梯——信号两格,想看看Apple Intelligence 2.0离了云能撑多久。

这台iPhone 19 Pro Max用M5芯片,系统默认给AI分配了70B参数模型(理论上能跑128B)。我让它写供应链风险分析,首字延迟1.2秒——比上代iPhone的30B模型快一倍多。更关键的是,飞行模式下Siri的自然语言理解、文本重写、图像描述全部离线运行,数据不出设备。对于常在地下室或高铁上的人,这很实用。

但连续生成三篇短文后,机身温度从26°C升到42°C,再推理时首字延迟涨到2.8秒——NPU降频了。之前测128B模型也发现连续跑12分钟速度就折半,瓶颈在内存带宽和散热。这次70B跑10分钟同样降频,意料之中。

精度也有折损。我出了三道题:鸡兔同笼、三段论推理、多语言颜色识别。端侧只做对第一题,第二题错判推理成立,第三题把法文当成西班牙文。同样的题,云端GPT-4o全对。量化压缩省了内存,但逻辑精准度打了折扣。

说白了,Apple Intelligence 2.0的端侧推理处理摘要、格式转换、简单问答很利索,但一涉及需要多步思考的复杂问题就不太稳。据CNMO科技消息,苹果正加速Apple Intelligence 2.0迭代,计划两年内底层重构Siri(代号LLM Siri)并整合第三方模型,让端云协同更智能。但目前复杂任务还得靠云。

连续指令测试:先问天气,再追问“刚才说的城市明天呢”,端侧能关联上下文,延迟1.5秒。但音乐播放和设置提醒同时提出,它只能串行。端侧搞不定时系统会弹窗询问是否用云端结果,需要手动授权。消息称未来Siri可能按任务复杂度自动切换。

其他厂商也面对同样难题。我们之前的《38位用户半年实测》显示,天玑9500在7B模型能效领先15%,但13B降频严重;骁龙8 Gen 5 AI Agent完成率82%对64%。苹果直接上70B,散热压力更大。去云端化是方向,但工程上还有距离。

所以,iPhone 19端侧推理对日常查询、摘要、翻译、简单对话已经够用,隐私和离线优势明显。但想要一个随时能处理复杂逻辑的助理,目前还得忍受降频和偶尔错误。端云协同是苹果在当前工程约束下的务实选择。

测试在iOS 26下进行,M5芯片的分层调度缓解了部分降频,但物理散热限制难突破。iPhone 19的70B推理是个不错的开始,但离“真香”还有距离。

相关阅读