手机跑7B和12B模型,INT4还是FP8更合适
这组2026年7月测试把Llama 3.2 7B和Mistral Small 12B放到骁龙8 Gen5参考设计机与A19设备上,连续生成512 tokens。INT4最省内存、温度最低;FP8在A19上速度接近INT4
阅读全文关键词:发热控制
这组2026年7月测试把Llama 3.2 7B和Mistral Small 12B放到骁龙8 Gen5参考设计机与A19设备上,连续生成512 tokens。INT4最省内存、温度最低;FP8在A19上速度接近INT4
阅读全文OPPO在2025年世界人工智能大会展示了200 token/s端侧模型能力,也把AI手机的真实考题暴露出来:峰值速度之外,NPU调度、量化部署、发热控制和端云协同,才决定它能不能长期好用。
阅读全文我们实测了Qwen3-3B、Phi-4-mini、Gemma-3等主流小模型在5款2026年主流安卓/iOS设备上的表现,覆盖推理速度、功耗、发热和多任务影响。测试发现,在特定任务上,3B模型已能提供媲美云端大模型的流畅
阅读全文