先看用户能感觉到的变化。
在Arm v10工程样片上运行Llama-3-3B 4-bit量化版，启用SME2后，Prefill阶段的Token处理速度较v9提升3.2倍。放到端侧Agent场景里，首字延迟从体感约1.2秒降至400毫秒以内。
测试口径：以下性能数字来自Arm v10工程样片测试。现有记录未给出具体芯片型号、主频、内存配置、编译器版本和散热条件，更适合用来观察SME2在不同负载中的作用，不宜当作所有Arm v10设备的统一成绩。
首字快了，解码只快一点
3.2倍的提升主要出现在Prefill。这个阶段需要集中处理输入内容，计算密度高，矩阵执行单元可以持续工作。进入逐Token生成的Decoding阶段后，瓶颈转向内存带宽，加速比回落到约1.4倍。
两组数字放在一起看，SME2对端侧大模型的价值很清楚：它能明显缩短等待第一段回复的时间，但不会让整段生成过程都获得3.2倍加速。
这也呼应了《3B小模型开始接活，万亿参数模型还值不值钱》中的判断。3B模型放到手机等设备上，响应速度往往比参数规模更直接地影响使用感受。
SME2省下的是数据搬运
Arm v9上的CPU加速主要依赖Neon或SVE。处理矩阵乘法时，这类一维向量指令需要反复拆分任务，数据也要频繁进出寄存器和缓存。指令周期没有全部用在计算上，相当一部分消耗在Load/Store操作中。
SME2加入专用矩阵执行模式、矩阵寄存器和硬件级GEMM支持。关于这套设计，《告别碎片化：Arm与x86阵营加码CPU端侧AI算力》也提到，SME2通过新的矩阵寄存器扩展CPU，并在硬件上支持GEMM风格操作。
具体到执行过程，Tile Storage可以容纳矩阵块，让CPU直接处理2×2或更大的块运算。在224×224分辨率的ViT图像分类测试中，SME2让内存访问指令减少约60%。从一维向量拆解转向二维矩阵处理后，CPU能把更多时间留给运算本身。
同一组测试还记录了x86对照结果：在相同INT8推理吞吐量下，Arm v10的功耗峰值比同级别x86方案低约25%。Intel AMX在服务器负载上有很强的矩阵计算能力，但这次对照没有披露具体处理器型号和平台配置，因此25%更适合作为样片测试中的方向性结果。
端侧设备最终要看的，也不只是峰值TOPS。每瓦能生成多少Token、数据搬运需要多少功耗，都会落到手机温度和续航上。
三类负载，收益差别很大
这次压力测试覆盖了LLM、ViT和Whisper-small量化版，结果没有整齐地落在同一个加速比上。
LLM：Prefill收益最高。 3B模型在Prefill阶段提升3.2倍，Decoding阶段约为1.4倍。前者偏计算密集，后者更容易受内存带宽限制。
ViT：端到端延迟下降40%。 测试记录显示，SME2对Softmax和LayerNorm进行了指令级优化，图像特征提取延迟从150ms降到90ms。对手机端实时识别来说，这一档延迟已经接近用户不易察觉的范围。
语音模型：CPU占用率下降。 Whisper-small量化版处理实时音频流时，CPU占用率从45%降至18%。省下来的计算余量，可以留给后台运行的其他Agent任务。
这三项结果也说明，矩阵引擎更擅长处理计算密集、数据能够成块复用的任务。负载一旦被内存带宽卡住，指令集升级带来的收益就会收窄。
10B模型跑五分钟，热量开始接管体验
SME2降低了单次运算的成本，却没有消除持续推理产生的热量。10B参数模型连续运行5分钟后，芯片温度升至约45℃，持续推理功耗稳定在4.8W。
这一结果与《Arm v10架构在端侧AI的实测：手机运行10B模型还发烫吗》中的观察一致：单个Token更省电，不等于长时间高频调用不会积热。
续航压力同样存在。参考《端侧AI模型续航测试：3B参数跑在手机上，一天几充》的数据，如果Agent频繁调用SME2进行本地推理，日均耗电量仍会增加10%至15%。
因此，CPU矩阵引擎适合承担一部分计算密集任务，持续负载仍要交给NPU配合处理。CPU、NPU和内存之间能否及时迁移任务，会直接影响温度和电量。
调优时先盯住这三处
量化格式要跟矩阵路径一起测。 这组方案建议从单一INT8转向FP8/INT4混合量化：权重使用INT4，激活值保留FP8，目标是在精度约束下尽量利用矩阵寄存器。不同模型仍需单独验证，不能直接套用同一组参数。
GEMM之后少拆算子。 如果矩阵乘法完成后再单独调用ReLU或GELU，数据会在Tile Storage和通用寄存器之间反复搬运。将激活函数融合进GEMM指令流，可以减少这部分开销。
64字节对齐不能漏。 SME2对输入张量的内存对齐较为敏感。测试中，未按64字节对齐的数据会退回效率较低的向量模式，性能降幅超过50%。遇到样片表现远低于预期时，内存布局应当优先排查。
3.2倍该怎么理解
SME2让CPU有能力承担更多端侧推理工作，尤其适合计算密集的Prefill阶段。它没有把整个推理流程统一加速3.2倍：Decoding只有约1.4倍，10B模型连续运行仍会达到约45℃和4.8W。
更实际的落点是3B至10B模型的响应速度。100B模型能否装进手机，并非这组测试要回答的问题。端侧体验最终取决于CPU的SME2、NPU专用加速单元以及LPDDR5x/6内存能否配合工作。Arm在移动端AI页面中也把CPU、CSS和IP放在同一计算平台下，强调从云端到边缘侧的构建、优化和部署。
当首字延迟能够稳定压到500ms以内，端侧Agent才更接近日常工具：点下去，很快有回应。至于能否长时间运行，还要继续看内存带宽、异构调度和散热。
