Arm v10样片实测:SME2把Prefill提速3.2倍
Arm v10工程样片测试中,SME2让Llama-3-3B 4-bit版Prefill速度较v9提升3.2倍,首字延迟由约1.2秒降至400毫秒以内;Decoding加速约1.4倍,10B模型持续运行仍受发热和功耗约束
阅读全文关键词:SME2矩阵引擎
Arm v10工程样片测试中,SME2让Llama-3-3B 4-bit版Prefill速度较v9提升3.2倍,首字延迟由约1.2秒降至400毫秒以内;Decoding加速约1.4倍,10B模型持续运行仍受发热和功耗约束
阅读全文