7 月 3 日,高通在上海 MWC 预热下一代骁龙 8 Elite Gen 3 时,把“支持 130 亿参数端侧模型”写进了 PPT。但就在两周前,Arm 更新了面向 2027 年的移动 AI IP 路线图,明确把能效比和内存带宽列为“端侧 AI 体验的真正瓶颈”。这两个信号放在一起看,意味着手机厂在 2026 年下半年,必须重新算一笔账:端侧模型到底能跑多大。
宣传数字和实际可用内存之间,隔着一整块系统开销。
先看真实约束。2026 年旗舰机标配的 LPDDR6 内存,理论峰值带宽约 68-75 GB/s,但分配给端侧模型的连续可用容量远低于物理总量。以一台 16GB RAM 的机型为例,系统常驻进程、GPU 显存预留和相机 ISP 缓冲区吃掉 5-6 GB 后,留给 NPU 和 CPU 共享的推理空间通常只有 8-10 GB。这意味着一个宣称“130 亿参数”的模型,如果采用 FP16 精度,仅权重就需要约 26 GB 存储——根本塞不进可用空间。
据 Arm 官方在 2026 年 1 月发布的 20 项技术预测中明确指出,“软件发展开始逐渐领先于硬件,要求整个计算栈的各个层级实现进一步的创新”。这句话翻译过来就是:模型研究员造出来的大模型,已经跑在了手机物理极限的前面。
稀疏架构才是端侧能跑大的真正原因,而不是参数数。
苹果在 2026 年 WWDC 上把 AFM 3 Core Advanced 做到约 200 亿参数,但每次推理只激活其中一部分。据 21 经济网 6 月 23 日报道,苹果的思路是“从根本上为端侧设计出省算力的结构,把模型本体做大,通过稀疏架构,每次推理只激活其中一部分参数”。这解释了为什么 iPhone 18 Pro 能在 8GB 推理空间内跑一个“200 亿参数”模型——实际激活量可能只有 30-40 亿参数,其余权重在推理时不参与计算,也就不占用瞬时带宽。
Google 的 Gemini Nano 走的是另一条路:蒸馏。早期 Gemini 技术报告提到,Gemini Nano 由更大的 Gemini 模型蒸馏而来,面向端侧部署做专门压缩。但蒸馏有天花板——压缩到一定程度后,模型在数学推理和多步指令跟随上的退化会变得明显。2026 年 Q2 的多家评测显示,Gemini Nano 3 在 7B 以下版本中,复杂任务成功率比云端 Gemini 2.5 Pro 低 18-23 个百分点。
Arm 的新 IP 把账算到了 NPU 调度上。
Arm 在 6 月更新的移动 AI 路线图中,最值得关注的不是单核 NPU 算力提升,而是 CPU、GPU、NPU 三者的协同调度策略。据 Arm 官方页面描述,其全套 CSS 和 IP 产品组合强调“基于 Arm 平台构建、优化和部署 AI——从云端到边缘侧”,移动端的核心在于“所需的性能、能效与易用性”。
这意味着什么?过去手机厂做端侧推理,通常把模型整个扔给 NPU,能跑就行。但 2026 年下半年开始,更务实的做法是把推理任务拆开:注意力层交给 NPU 的矩阵加速单元,MLP 层在 GPU 上跑,嵌入层和 tokenizer 放 CPU。这种异构调度能让同样 8GB 推理空间下,实际可跑的激活参数量提升 40-60%,同时把功耗从峰值 6.5W 压到 4W 以内。
功耗墙才是真正的硬约束。一台手机在端侧持续推理时,如果 NPU+GPU+CPU 总功耗超过 5W,3 分钟内机身温度会从 35°C 飙到 42°C,触发温控降频。2026 年 7 月实测数据显示,骁龙 8 Elite Gen 2 在 4.5W 功耗下可以稳定跑 30-40 亿激活参数、每秒 18-22 token 的生成速度,一旦推到 6W 以上,token 速率反而因降频跌到 12 token/s 以下。
“百亿参数端侧运行”在什么条件下才有意义?
如果厂商说的“百亿参数”是指总参数量,而实际激活量控制在 30-40 亿,且推理任务被合理拆分到异构计算单元上,那这个宣传在 2026 年下半年的旗舰机上是成立的。但如果指的是 100 亿参数全激活、FP16 精度、单 NPU 推理,那在 16GB RAM 手机上根本跑不起来——不是算力不够,是内存带宽和功耗同时撞墙。
更值得关注的是实际可用场景。小米 SU8 车机端侧大模型在断网下能连续对话 42-48 轮后开始失忆,本地缓存 72 小时且无一键清除入口。这说明端侧模型的上下文窗口和记忆管理,比参数规模更直接影响用户体验。手机场景下的端侧模型,如果只能记住最近 8 轮对话,那 130 亿参数和 30 亿参数在聊天体验上差别不大,但功耗和延迟会差出一倍。
2026 年下半年,手机厂该算的三笔账。
第一笔,内存账。LPDDR6 的 68-75 GB/s 带宽,减去系统开销后,留给推理的连续带宽约 40-50 GB/s。一个 40 亿激活参数的 FP16 模型,每 token 需要读取约 8 GB 权重数据,在 50 GB/s 带宽下理论 token 速率上限是 6.25 token/s——实际还要打七折,约 4-5 token/s。这恰好是语音助手能接受的底线。
第二笔,功耗账。4.5W 是 2026 年旗舰机端侧推理的甜蜜点,超过这个值就会触发温控降频。异构调度能把同样任务从 6W 压到 4W,但需要手机厂在模型部署阶段做逐层算子分配,而不是一键转换。
第三笔,场景账。端侧模型真正的护城河不是参数规模,而是断网可用和隐私本地化。如果用户最在意的是离线语音助手、本地照片搜索和实时翻译,30-40 亿激活参数完全够用。厂商如果把参数数字当成营销武器,反而会误导用户期待一个端侧 ChatGPT,最终体验翻车。
Arm 更新路线图后,手机端侧模型选型多了哪些变数,我们此前在《Arm更新移动AI思路,手机端侧模型该重算哪些账》中做过拆解。现在结合 7 月的最新实测数据,结论更清晰了:2026 年下半年,旗舰手机的端侧模型上限不是参数数,而是 4.5W 功耗下、40-50 GB/s 带宽内能稳定跑多少激活参数。这个数字大约是 35-45 亿,生成速度 4-8 token/s。超过这个范围,要么降频,要么穿透到云端。
手机厂的 PPT 可以继续写“130 亿参数”,但工程团队手里的计算表,已经在重算了。