3B模型在端侧能跑多少个Agent？实测不同量化方案的推理损耗
针对2026年主流的3B级端侧模型（如商汤Sage、vivo蓝心3B），实测在Arm v10架构设备上运行3-5个垂直Agent时的内存占用与延迟。对比INT4与FP8量化方案，分析在多Agent协作场景下的精度掉点与资
阅读全文
Search
站内搜索
关键词：Arm v10
找到 3 篇相关文章
前沿研究
Arm v10样片实测：SME2把Prefill提速3.2倍
Arm v10工程样片测试中，SME2让Llama-3-3B 4-bit版Prefill速度较v9提升3.2倍，首字延迟由约1.2秒降至400毫秒以内；Decoding加速约1.4倍，10B模型持续运行仍受发热和功耗约束
阅读全文
前沿研究
Arm v10 架构在端侧AI的实测：手机运行 10B 模型还发烫吗
2026年7月实测表明，手机运行10B参数模型已从「不能跑」跨到「可以跑」，但发烫问题并未消失。得益于NPU调度、稀疏激活与指令集优化，持续推理功耗降至4.8W，温度约45℃；但Agent场景连续调用仍会堆积热量。文章引
阅读全文