把卷积层塞进iOS 20:端侧70B模型省电30%的三个野路子
iPhone 17 Pro 本地跑 70B 模型 10 分钟就烫到降频怎么办?本文实测三种非常规优化手段:动态精度切换(保持 95% 精度功耗降 25%)、iOS 20 智能内存交换(省带宽 20%)、以及用 1x1 卷
阅读全文关键词:Apple Neural Engine
iPhone 17 Pro 本地跑 70B 模型 10 分钟就烫到降频怎么办?本文实测三种非常规优化手段:动态精度切换(保持 95% 精度功耗降 25%)、iOS 20 智能内存交换(省带宽 20%)、以及用 1x1 卷
阅读全文