2026下半年AI手机战,端侧大模型先过续航关
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中,FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻,峰值 TOPS 还说明不了续航;原生加速、端云分工和散热更值得看。
阅读全文关键词:本地化推理
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中,FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻,峰值 TOPS 还说明不了续航;原生加速、端云分工和散热更值得看。
阅读全文