2026 手机端侧 3B 模型实测:内存压力与推理速度的真实平衡点
基于 2026 年主流旗舰机型(骁龙 8 Elite、天玑 9400、A18 Pro)的连续跑测数据,对比 Qwen2.5-3B、Llama-3.2-3B 与 Gemma-3-3B 在 4-bit 与 6-bit 量化下
阅读全文关键词:内存管理
基于 2026 年主流旗舰机型(骁龙 8 Elite、天玑 9400、A18 Pro)的连续跑测数据,对比 Qwen2.5-3B、Llama-3.2-3B 与 Gemma-3-3B 在 4-bit 与 6-bit 量化下
阅读全文我们用搭载骁龙8 Gen 4和A18 Pro的旗舰机,实测了本地运行7B-13B参数模型时的内存占用、发热和电池影响。iOS 18的“智能压缩”和Android 15的“动态优先级调度”各有侧重,但8GB内存机型运行13
阅读全文一个1.5B的蒸馏模型,在骁龙8 Gen 3手机上推理128个token需要150毫秒,在树莓派5上处理256个token则要1.2秒。我们用VibeThinker-3B等模型,在安卓手机和树莓派上对比了ONNX Run
阅读全文