下午三点，办公室空调设在26°C。我在测试机上打开本地推理应用，加载基于DeepSeek-R1蒸馏版的Qwen-32B，模型采用INT4量化。这次给它的任务，是整理一份合同条款的风险摘要。
首字等待2.1秒，随后以约8 tokens/s的速度输出。到第3分钟，机身背部测温点已经从35°C升至46°C，生成速度一度掉到3 tokens/s。整项任务跑了12分钟，电量少了23%。
30B模型确实进了手机，也能完成工作。问题出在持续生成之后：温度、降频和电量消耗会很快接管体验。
24GB内存，够启动，不算宽裕
Qwen-32B的INT4权重约16GB。再算上推理引擎和系统占用，24GB LPDDR6内存刚到可用线。模型加载后，系统监测到约14GB物理内存被占用，后台应用基本都会被清理；此时切换App，模型进程也可能遭到回收。
测试机是2026年第二季度发布的骁龙8 Gen 5旗舰机，NPU理论算力超过40 TOPS（INT8），支持原生INT4和FP8精度。它能把首字延迟压到2.1秒，起步速度维持在8 tokens/s左右。短摘要还能接受，回答一旦拉长到数千token，等待感就会明显增加。
算力并非唯一门槛。高通在2025年2月发布的《AI变革正在推动终端侧推理创新》中，也把有限内存带宽和容量下的资源调度列为终端推理需要处理的问题。对30B模型来说，24GB内存可以开跑，却很难兼顾多任务。
十五分钟，速度从8掉到3—4
随后进行的连续测试包含10轮思维链解答，总生成量约5000 tokens。
前5分钟相对平稳，机身温度从30°C升到38°C，生成速度没有明显波动。第5至15分钟，温度越过42°C后，SoC开始降频，速度从8 tokens/s逐步滑到5 tokens/s。
第15分钟，热成像仪测得46.8°C，解码速度只剩3—4 tokens/s，最大衰减超过60%。金属中框已经不适合长时间握持。此时模型仍在运行，但前几分钟的流畅感已经消失。
带主动制冷的游戏手机给出了另一条路线。联想拯救者Y950在2026年6月引入“AI散热舱”，用小型半导体制冷片贴近SoC。在35°C环境温度下，它能把封装温度控制在42°C以内，持续生成速度约7.5 tokens/s，没有出现大幅降频。
代价同样具体：机身厚9.8毫米，重量278克。主动制冷可以保住性能，轻薄旗舰是否愿意承担这部分厚度和重量，则是另一笔账。
23%的电量，换来12分钟推理
这轮连续任务使用的是5000mAh电池，12分钟耗电23%。按相同负载折算，连续推理续航约55分钟，峰值功耗达到8—9W，已经接近笔记本电脑轻度办公时的水平。
测试记录中的参照值是：日常使用每小时耗电6%—8%，《原神》极限画质约25%—30%。本地运行30B模型显然属于高负载任务，很难长时间挂在后台。
换成FP8后，首字延迟可以缩短到1.7秒，生成速度升至9—10 tokens/s；模型内存占用增加到22GB，部分场景需要swap，功耗也会上涨约15%。为一两秒的响应改善付出更高温度和耗电，对手机未必划算。
实际使用通常不会连续推理一小时。短时查询、一次性文档处理更符合当前硬件条件。把30B模型当作全天候助手，电池和散热都撑不住。
思维链把简单问题也拉长了
R1类模型会在回答前生成一段推理过程。放在手机上，这些额外token会直接变成等待时间。
例如询问“2026年7月17日三天后是几月几日”，模型可能先写出“用户问日期，今天是2026-07-17，加三天，七月有31天，所以是7月20日”，再给出答案。一个简单日期问题因此多消耗50—100个token。本次测试中，生成完整思维链所需时间达到云端API的6—8倍。
这段等待并非毫无回报。推理过程有助于检查逻辑，本地运行也能减少敏感数据上传。按照端侧AI的常见定义，模型与数据处理留在手机等终端，弱网或无网环境仍可工作。
离线病历分析、敏感邮件起草、合同条款检查，都可能接受较慢的响应。普通日期换算、简单问答则没有必要展开几十个步骤。思维链在手机上的成本，需要按任务决定是否承担。
三种量化方案，INT4最省心
本次横评记录如下：
| 量化方案 | 首字延迟 | 生成速度 | 温度峰值 | 功耗 |
|---|---|---|---|---|
| INT4 | 2.1秒 | 8 tokens/s | 46°C | 8.3W |
| FP8 | 1.7秒 | 9.5 tokens/s | 48°C | 9.7W |
| 混合精度（敏感层FP8，其余INT4） | 1.9秒 | 8.8 tokens/s | 45°C | 8.8W |
精度损失取决于任务。在ARC测试集上，INT4相较FP8的准确率损失约3.2%；到了GSM8K数学推理，损失只有1.1%。逻辑推导为主的任务可以优先使用INT4，知识问答和事实性任务更适合混合精度。
FP8速度最快，但温度升到48°C，功耗达到9.7W，对手机散热的压力最大。混合精度在速度、温度和准确率之间更均衡，也更适合长一些的任务。
这一结果与此前的3B模型端侧多Agent推理测试一致：量化后的精度变化不能只看平均分，还要回到具体业务做A/B测试。
30B适合留在手机里的场景很窄
这台24GB设备给出的边界已经很清楚。30B模型适合隐私优先、离线运行、目标明确且允许等待的任务，例如病历分析、敏感邮件和合同摘要。长时间连续对话或全天候助手，对当前手机仍然太重。
继续堆NPU算力还不够。内存带宽、散热、电源管理以及操作系统对后台进程的调度，都要围绕大模型重新调整。否则，40 TOPS以上的理论算力也会在46°C的机身温度面前迅速降频。
对普通用户，更实际的分工是让3B—7B模型处理日常Agent任务，把30B以上的复杂推理交给云端或PC。边界清晰的任务未必需要大参数，这也是3B小模型开始接活一文讨论过的判断。
回到下午三点的那台测试机：合同摘要确实在本地写完了，数据没有离开手机。代价也摆在手里——46°C的机身、降到3 tokens/s的输出，以及12分钟少掉的23%电量。它已经是一项可用的能力，还称不上可以随时依赖的日常功能。
