70B模型本地实测:iPhone 17 Pro的0.8秒与10分钟
在iOS 20开发者预览版中,iPhone 17 Pro通过4-bit量化实现了Llama 3.3 70B模型的本地运行,首字延迟0.8秒。但连续复杂推理10分钟后,手机温度飙至65℃,性能大幅降频。苹果用三层意图分流机
阅读全文关键词:苹果
在iOS 20开发者预览版中,iPhone 17 Pro通过4-bit量化实现了Llama 3.3 70B模型的本地运行,首字延迟0.8秒。但连续复杂推理10分钟后,手机温度飙至65℃,性能大幅降频。苹果用三层意图分流机
阅读全文苹果在iOS 20上首次实现了70B大模型在iPhone本地运行,首字响应只要1.2秒。但连续跑复杂任务10分钟后,手机就烫到65℃开始降频,响应速度暴跌。端侧大模型的算力,终究敌不过手机那点散热面积。
阅读全文iPhone 19运行本地70B大模型频繁降频,并非NPU算力不足,而是高通X85基带功耗挤压了散热空间。实测显示,其持续负载能力远不如搭载VC均热板的安卓旗舰。苹果转而采用端云协同策略,以实用主义应对物理极限。
阅读全文Apple Intelligence 2.0 上线半年,iPhone 19 的 M5 芯片虽能让 70B 模型首字 1.2 秒响应,但持续高负载下 65℃ 的温控红线让纯端侧难以为继。苹果转而采用精细的端云调度:敏感轻任
阅读全文iOS 20 推送后,Apple Intelligence 2.0 终于能让 Siri 真正干活。核心变化是 M5 芯片 NPU 跑到 100-200 TOPS,70B 参数模型首字延迟压到 1.2 秒,敏感任务在 Se
阅读全文2026年6月苹果确认终止近十年自研5G基带项目,iPhone 19全系搭载高通骁龙X Elite基带,针对端侧AI低延迟优化底层网络调度,试图解决信号顽疾,但5G-A覆盖仍有局限。
阅读全文Apple M5芯片NPU算力预计达100-200 TOPS,配合LPDDR6X内存,使70B参数模型在iPhone 19上的首字延迟降至1.2秒。虽然散热仍限制持续高负载,但苹果通过动态量化实现“端云协同”。这不仅关乎
阅读全文iPhone 18 Pro Max NPU算力突破100 TOPS,但Apple Intelligence 3.0在多步任务上仍比上代慢0.5秒。实测显示,端侧大模型的性能瓶颈不在芯片,而在内存带宽与散热。相比苹果的“隐
阅读全文iOS 19 带来 Apple Intelligence 3.0,Siri 获得跨应用权限。实测显示,多步操作成功率 61%,平均耗时 3.8 秒,明显慢于云端方案。苹果选择以性能和续航为代价,换取微信记录、银行短信等私
阅读全文iOS 20 让 iPhone 17 Pro 在本地运行 70B 参数大模型。实测显示,单轮生成首字仅需 0.8 秒,体验流畅;但多轮对话和长上下文会导致延迟飙升至 2 秒以上,伴随明显发热与降频。隐私方面,纯本地任务确
阅读全文2026年6月,苹果在深圳南山设立AI实验室,首批12个岗位避开大模型预训练,聚焦端侧推理与硬件协同。受M5 MacBook实测续航痛点驱动,苹果试图通过驻厂迭代解决功耗难题。此举不仅推高端侧AI工程师薪资至80-150
阅读全文苹果给 Vision Pro 换上 M5 芯片,号称专为 AI 打造。我们用开发者预览版实测发现,手势延迟降到 50 毫秒以内,首次支持本地生成 3D 模型。但续航短、价格高、应用少的问题依然存在。
阅读全文