Sora把视频拉到60秒,端侧要学会不重算每一帧
Sora把文生视频样片推到60秒,也把算力成本摆到台前。手机和AR眼镜若要做到实时生成,不能照搬云端模型,得靠关键帧复用、量化、局部渲染和更短的数据路径,把延迟、内存与发热逐项算清。
阅读全文关键词:移动端
Sora把文生视频样片推到60秒,也把算力成本摆到台前。手机和AR眼镜若要做到实时生成,不能照搬云端模型,得靠关键帧复用、量化、局部渲染和更短的数据路径,把延迟、内存与发热逐项算清。
阅读全文苹果用约200亿参数的稀疏模型减少单次激活,Pixel 10让Gemini Nano常驻端侧,小米MiMo-V2 Pro总参数超过1万亿。公开资料尚无统一温度与降频测试,能效高低还得看持续负载。
阅读全文2026年夏天,7B大模型在旗舰机上跑通已成常态,但内存占用和发热问题远比宣传复杂。实测三款旗舰机在连续对话下的内存与掉电数据,拆解手机厂商为了保住轻薄设计,在NPU调度策略上做的妥协。端侧AI的真实代价,才刚刚浮出水面
阅读全文把大模型装进Android App,跑通只是起点。真正影响体验的是模型加载、内存复用、NPU回退和持续发热。围绕这些工程问题,梳理一套更稳妥的端侧部署思路。
阅读全文骁龙8 Gen5实测跑14B模型发热严重,但6月落地的混合精度量化与稀疏激活技术,已把内存压到5.8GB、推理功耗控在3.2W。两条算法路径叠加后,中端机本地跑大模型不再是噱头,只是加载那5秒的等待仍是工程上的最后一公里
阅读全文一个1.5B的蒸馏模型,在骁龙8 Gen 3手机上推理128个token需要150毫秒,在树莓派5上处理256个token则要1.2秒。我们用VibeThinker-3B等模型,在安卓手机和树莓派上对比了ONNX Run
阅读全文