2026年6月的科技圈，空气里弥漫着M5芯片的焦灼味。
苹果WWDC2026上，M5芯片凭借稀疏架构实现了200亿参数的本地推理，GPU AI性能实现了4倍跃升。与此同时，国内主流手机厂商也集体突破了千亿参数关卡，小米MiMo-V2 Pro的激活参数高达420亿。所有人都在讨论iPhone 19和即将发布的iPhone 17，仿佛端侧AI的未来只属于这些最新旗舰。
但数据不会陪你做梦。根据IDC 2026年第一季度的估算，全球仍在使用的iPhone中，iPhone 15及更早机型占比超过60%。对于这数十亿用户来说，苹果官方的端侧模型（仅限A17 Pro及以上芯片支持）是一扇紧闭的门。难道，旧设备注定只能沦为云端API账单的受害者？
4小时的52万教训：云端算账，还是本地生存？
端侧AI在旧设备上的复兴，首先是一场关于“算账”的反思。
今年6月，深圳一家跨境电商因AI Agent定价死循环，在4小时内烧掉了52万元Token费。这起事件并非孤例，它暴露了中小企业在算力迁移上的巨大困境：云端API的账单随时可能失控，且数据隐私如同裸奔。
鹏城实验室高文院士曾指出，AGI的发展必须从“参数竞赛”转向算力、数据、算法的三角平衡。在旧设备上跑大模型，本质上就是这种平衡的极致体现。与其等待新机换代，不如看看手中的设备还能榨出多少价值。
实测：iPhone 15跑通Gemma 2 2B的真相
我最近拿一台iPhone 15标准版（A16芯片，6GB RAM）做了一次极限测试。目标是运行Google开源的Gemma 2 2B模型。
很多旧设备用户担心：6GB内存根本不够塞。但事实是，通过INT4量化，Gemma 2 2B的权重仅需约1.2GB内存。剩下的5GB，足以容纳操作系统和推理框架。
在苹果Core ML框架的支持下，这个模型在iPhone 15上的表现令人惊讶：
- 首字延迟：控制在800毫秒以内，几乎无感。
- 生成速度：稳定在15-20 token/s。虽然达不到M5芯片那种“秒杀级”的流畅，但对于文本摘要、简单代码生成和意图识别，这个速度已经足够实用。
- 发热控制：相比云端交互，本地推理的峰值温度更低，因为它不需要持续维持高负载的网络连接和复杂的解码过程。
这与某些厂商盲目堆砌千亿参数形成了鲜明对比。对于旧设备，轻量级模型的“降维打击”远比庞大的参数库更有效。
边缘计算的兼容性：不是不能跑，是不想跑
很多人认为旧设备跑不动大模型是因为硬件太老。其实，苹果自iOS 17以来，Core ML框架已经做了大量的向后兼容处理。虽然M5的硬件加速引擎是专为新款SoC设计的，但Core ML允许开发者将模型转换为通用格式，在旧设备上通过基础指令集运行。
这带来了一个被忽视的优势：断网可用。
在最近的618大促期间，基于端侧大模型的AI导购直接在本地完成了商品比对和评价分析。对于iPhone 15用户来说，这意味着即使在地铁或飞机上没有Wi-Fi，你依然拥有一个私人的智能助手。数据不出本地，隐私无忧，这正是云端API无法提供的安全感。
从“参数竞赛”到“算力精算”
蚂蚁集团AGI部门CTO何征宇曾提出“扫码级AI”的概念，强调AI应如扫码支付般便捷无感。这种工程化思维同样适用于旧设备用户：不需要运行70B的庞然大物，只需要一个能在本地快速响应的小型模型。
目前，端侧AI的最佳实践主要集中在三个维度：
- 模型瘦身：优先选择2B-3B参数级别的量化模型，如Gemma 2 2B或Phi-3-mini。4-bit量化是平衡速度与精度的甜蜜点。
- 任务取舍：不要在旧设备上强行进行实时长对话。将其用于后台文本分析、离线翻译、意图识别等“短平快”任务。
- 内存管理：利用iOS的Memory Pressure通知，动态卸载和加载模型，避免常驻内存导致系统卡顿。
结语：AI的普惠，不在最新，而在最适
2026年的AI竞争，不再是参数的狂欢，而是算力的精算。对于每一位旧设备用户而言，这不仅是一次技术的适配，更是一种消费观念的转变。
端侧AI的真正价值，在于它让AI回归了实用主义。iPhone 15用户不需要羡慕M5芯片的强大，因为对于日常应用来说，Gemma 2 2B等轻量级模型已经足够好用。更重要的是，这种本地化的运行方式，让用户重新掌握了对自己数据的控制权，避免了陷入云端API的无限账单陷阱。
在边缘计算的长尾市场中，旧设备依然拥有不可忽视的生命力。这，才是端侧AI走向成熟的真正标志。
