端侧AI开始算功耗账,苹果与高通走了两条路
苹果把省电做进约200亿参数的稀疏模型,高通则用混合精度降低推理能耗,并称骁龙8 Gen 4端侧大模型功耗下降40%。两套方案暂时缺少统一实测,38TOPS也不能代替持续运行时的温度、降频和适配成本。
阅读全文关键词:Snapdragon X Elite
苹果把省电做进约200亿参数的稀疏模型,高通则用混合精度降低推理能耗,并称骁龙8 Gen 4端侧大模型功耗下降40%。两套方案暂时缺少统一实测,38TOPS也不能代替持续运行时的温度、降频和适配成本。
阅读全文