前沿研究
Arm v10样片实测：SME2把Prefill提速3.2倍
Arm v10工程样片测试中，SME2让Llama-3-3B 4-bit版Prefill速度较v9提升3.2倍，首字延迟由约1.2秒降至400毫秒以内；Decoding加速约1.4倍，10B模型持续运行仍受发热和功耗约束
阅读全文
Search
站内搜索
关键词：SME2
找到 3 篇相关文章
前沿研究
前沿研究
Arm加速端侧AI，手机推理延迟仍缺一个可靠数字
Arm正把SME2扩展到更多CPU平台，并强调内存、功耗和持续运行能力。但现有公开素材没有给出7B模型首Token延迟，也不足以证明手机端已达到150—300毫秒。
阅读全文
产业动态
Arm把端侧AI芯片的焦点拉回内存与系统设计
端侧大模型进入手机和PC后，芯片性能已不能只看TOPS。Arm推出Lumex CSS并引入SME2，试图从CPU、GPU、系统IP和数据搬运入手，缓解算力、内存与功耗之间的牵制。
阅读全文