端侧模型功耗红线再收紧,14B参数如何塞进中端机
骁龙8 Gen5实测跑14B模型发热严重,但6月落地的混合精度量化与稀疏激活技术,已把内存压到5.8GB、推理功耗控在3.2W。两条算法路径叠加后,中端机本地跑大模型不再是噱头,只是加载那5秒的等待仍是工程上的最后一公里
阅读全文关键词:移动端部署
骁龙8 Gen5实测跑14B模型发热严重,但6月落地的混合精度量化与稀疏激活技术,已把内存压到5.8GB、推理功耗控在3.2W。两条算法路径叠加后,中端机本地跑大模型不再是噱头,只是加载那5秒的等待仍是工程上的最后一公里
阅读全文