手机烫得拿不住，屏幕自动降亮度，后台模型推理直接超时退单——2025 年秋季某旗舰机在连续运行 7B 对话模型 15 分钟后的真实表现。机身温度飙至 46°C，推理速度从首 token 20ms 跌到 120ms，最终因功耗墙触发系统熔断，应用被强制关闭。用户调侃：“退单之前，我甚至没意识到手机在跑模型。”
7B 模型意味着什么
仅权重一项，FP16 精度就需要约 14GB 内存，而 2026 年旗舰手机标配 16GB 运存，留给系统的余量极小。即使采用 INT4 量化，权重也要 3.5GB，加上 KV Cache 和中间激活，内存占用常超过 6GB。持续推理时 GPU/NPU 满负载运行，据 vivo AI 研究院高性能计算工程师章苏迟在 AICon2025 上分享，7B 模型在手机端的推理功耗可达 5W 以上，而手机被动散热的极限大约是 4W。超过这条线，SoC 必须降频保护，性能断崖式下跌。
运行日志里的“三阶段崩盘”
拆解一段骁龙 8 Gen 4 机型运行 7B 模型（INT4 量化）的日志，系统总电流、温度、生成速度三条曲线清晰显示了三个阶段：
- 满血爆发期（0～3 分钟）：NPU 全速，生成速度 40 token/s，总电流 3.2A，温度从 30°C 升至 38°C。
- 热平衡期（3～8 分钟）：温度升至 43°C，电流受限，生成速度降到 25 token/s。
- 热失控期（8 分钟后）：温度突破 45°C 阈值，CPU/NPU 同时降频，生成速度仅 10 token/s，推理偶尔超时，最终被 watchdog 终止。
整个过程电池电量从 80% 掉到 62%，平均功耗 4.8W。芯片不是唯一瓶颈——根据头豹研究院 2026 年 5 月发布的《中国端侧大模型行业研究》，7B 模型在端侧推理的平均能效比 3B 模型低约 40%，行业正加速向 3B 迁移。
推理框架层：从量化到 KV 缓存剪枝
把 7B 模型塞进手机，第一道关卡是内存压缩。INT4 量化已是起步，但仅靠 W4A16 还不够。vivo 蓝心大模型的方案是使用更激进的 INT4+稀疏化，结合混合精度：对 Attention 等敏感层保留 FP16，其余层用 INT4 甚至 INT2。这能在几乎不损失理解能力的前提下，把模型体积再压缩 30%。不过量化后的矩阵乘法算子需要手写优化，否则推理速度反而倒挂。
另一个容易被忽略的是 KV Cache 的膨胀。7B 模型处理长对话时，KV Cache 迅速增长到 2GB 以上。通过窗口注意力加早期 token 丢弃，可以将缓存峰值降低 50%。实测在采用 4K 滑动窗口后，同一手机的连续对话保持时间从 8 分钟拉到 15 分钟，没有触发降频。
硬件调度层：不让 NPU 总跑全速
许多厂商让大模型独占 NPU 并跑满频率，这是功耗爆炸的根因。有效的调度应该是“动态频率+内核绑定”策略：
- token 生成时：NPU 降频 20%，让生成时间拉长 10%，但能耗下降 35%（得益于电压平方关系）。
- prefill 阶段：CPU 负责，因为并行度低，NPU 硬跑反而增加空耗。
- 空闲时：立即卸载模型权重到 NAND，只保留 KV Cache 在 DRAM，减少后台功耗。
vivo 和联发科的案例值得关注：通过系统级调度框架，7B 模型在连续推理时的平均功耗降低了 28%，性能仅损失 10%。他们甚至利用手机 VC 均热板将可维持满载推理的时间从 6 分钟提升到 12 分钟。
正如我们在《Arm 加码移动 AI，端侧部署别再只盯 TOPS》中提到的，手机端模型能否跑稳，主要看量化格式、内存占用、算子回退和持续功耗。算力再高，散热不上墙，一切都是空谈。
行业转向：3B 成为新锚点
2025 年底到 2026 年，几乎所有手机厂商的主推端侧模型都在向 3B 靠拢。vivo 在 2025 开发者大会上发布了专为端侧智能体打造的 3B 多模态推理大模型；《科创板日报》2025 年 10 月的报道直接指出：“3B 模型正逐步取代 7B 模型，成为端侧 AI 应用的主流选择。”
面壁智能在 2026 年 5 月的分享中道出了厂商的算题：“对端侧设备厂商而言，这是一道残酷的选择题：要么接受上涨的 BOM 成本，要么削减内存；想要控制成本、降低功耗，就不得不砍掉模型能力。”
3B 模型在多数任务上能达到 7B 模型 85% 以上的效果，功耗仅为后者的 30%。对于翻译、摘要、语音助手等即时任务，用户基本上感知不到差异。只有在多步推理、角色扮演等复杂场景，7B 才显现优势，而这些场景在手机上占比不到 10%。WAIC 2026 的共识——“落地比参数重要”——在这个趋势中得到了最现实的验证。
结语
7B 模型不是不能用在手机上，而是需要在软硬件两个维度做定制。如果开发者在手机上跑 7B，不妨先拉一份运行日志，看看模型在热平衡期能持续多久。如果不到 10 分钟就开始退单，该考虑的不是换芯片，而是换模型。
