站内搜索

关键词：INT4与FP8量化

找到 2 篇相关文章

2026-07-17 07:05:31 0 阅读

针对2026年主流的3B级端侧模型（如商汤Sage、vivo蓝心3B），实测在Arm v10架构设备上运行3-5个垂直Agent时的内存占用与延迟。对比INT4与FP8量化方案，分析在多Agent协作场景下的精度掉点与资

2026-07-16 20:12:30 0 阅读

在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中，FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻，峰值 TOPS 还说明不了续航；原生加速、端云分工和散热更值得看。