手机运行大模型，究竟能快到什么程度？如果只看目前能够核实的公开信息，还不能得出“7B模型首Token延迟已降至150—300毫秒”这个结论。
现有材料可以确认的是，Arm正在推进SME2在端侧AI中的应用。2025年10月16日，Arm在OPPO开发者大会上提到，SME2已经对端侧AI的性能和准确率产生实际影响，公司计划到2030年将这项技术扩展至每一个CPU平台。
但这次披露没有提供统一模型、量化精度、内存配置和测试环境下的延迟数据。缺少这些条件，150毫秒、300毫秒或其他具体数字都无法直接比较。
SME2为什么值得手机厂商关注
SME2全称为第二代可扩展矩阵扩展，作用是增强CPU处理矩阵运算的能力。大模型推理包含大量此类计算，因此CPU获得更合适的指令支持后，可以承担更多AI任务，也方便开发者在现有Arm平台上部署模型。
这条路线与Arm对CPU推理的定位一致。Arm官网将代理式AI工作负载概括为持续运行、始终在线且受电力限制，并认为高能效CPU适合在数据中心和边缘设备中处理这类任务。
放到手机上，这意味着AI不能只在演示时跑出一次高分。语音助手、本地摘要和端侧Agent可能频繁调用模型，对功耗、温度和持续性能都有要求。峰值算力很重要，但它解释不了完整体验。
推理速度还要看数据怎么搬
一个模型在手机上运行，需要不断读取权重和中间数据。计算单元速度再快，如果数据供应跟不上，仍会出现等待。因此，端侧推理表现通常同时受CPU、NPU、内存带宽、缓存、模型量化方式和软件框架影响。
《证券时报》相关报道把端侧AI加速落地作为Arm当前的重要方向；福布斯中国的报道则提到，随着大模型轻量化，小模型正在进入更多边缘设备。这些信息说明端侧部署正在推进，但均未给出可用于验证150—300毫秒延迟的完整测试结果。
原有说法还涉及LPDDR6-10667、16MB L3缓存、85GB/s带宽，以及与骁龙8 Gen 4、天玑9400的横向测试。当前引用素材没有提供这些配置和数据，也没有一份注明模型版本、量化精度、批次大小、上下文长度及测试设备的报告，因此不能保留为确定事实。
“首Token延迟”不能单独看
首Token延迟指模型收到输入后，输出第一个Token所需的时间。它确实影响用户对响应速度的第一印象，但手机AI是否流畅，还取决于后续生成速度、模型加载时间、连续运行后的降频，以及任务是否调用CPU、GPU或NPU。
即便两台手机运行同一个7B模型，量化精度、提示词长度、内存容量和推理框架不同，结果也可能明显变化。厂商公布延迟时，如果没有交代这些条件，数字本身的参考价值有限。
对Arm而言，SME2的价值在于给CPU增加一条更适合AI计算的路径。它能否转化成手机上的稳定低延迟，还要看芯片设计、系统内存和推理软件如何配合。Arm在OPPO开发者大会上说SME2已经带来实际影响，这是可以确认的进展；具体快了多少，公开材料暂时没有答案。
现阶段更准确的判断是：Arm正在为端侧AI补强CPU能力，并把SME2推向更广的平台。至于7B模型能否在手机上稳定做到150—300毫秒首Token延迟，需要等待带有完整测试条件的实测数据。
