如果你在 2026 年的 AI 手机上调用一个端侧助手，最让你感到“智能”的瞬间，不是它能写出完美的周报，而是当你按下发送键后，第一个字在 200 毫秒内蹦出来，而不是在屏幕上转圈 1.2 秒。
这种体感差异，在工业界被量化为“首 token 延迟”（Time to First Token, TTFT）。在 2024 年，厂商们还在卷模型参数量，试图把 7B 甚至 14B 的模型塞进手机；但到了 2026 年 7 月，端侧大模型的竞争逻辑已经彻底变了：谁能把 TTFT 压到人类感知不到的阈值，谁才掌握了 AI 手机的定义权。
跑分是给投资人看的，TTFT 是给用户看的
很多厂商在发布会上宣传其 NPU 的 TOPS 算力，但算力在端侧推理中往往不是第一瓶颈。实际场景中，端侧模型的响应速度主要受限于“内存带宽”。
一个典型的 3B 参数模型，如果使用 4-bit 量化，权重文件大约占用 1.5GB 到 2GB 的内存。在生成第一个 token 时，设备必须将这 2GB 的权重全部从 LPDDR 内存加载到 NPU 的缓存中进行计算。如果内存带宽只有 64GB/s，理论上的加载时间就已经决定了延迟的底线。这就是为什么很多手机虽然 NPU 算力惊人，但在运行 7B 模型时，首字弹出依然有明显的滞后感。
目前国产端侧模型的分水岭在于 3B 和 7B 之间。实测显示，在骁龙 8 Elite 或天玑 9400 等主流平台上，优化良好的 3B 模型 TTFT 可以控制在 300ms 以内，而 7B 模型即便经过量化，在复杂 Prompt 下的 TTFT 往往会跳到 800ms 甚至 1s 以上。对于消费者来说，这 500ms 的差距就是“丝滑”与“卡顿”的界限。
在这种背景下，盲目追求参数量已经失去了意义。正如我们在《7B还是14B？端侧大模型选型先看功耗与散热》中所分析的，端侧选型必须在性能、功耗和响应速度之间寻找平衡点。目前的趋势是：用极高知识密度的 3B 模型，去替代臃肿的 7B 模型。
KV Cache：端侧内存的“吞噬者”
如果说权重加载决定了首 token 的速度，那么 KV Cache（键值缓存）则决定了对话越长，手机越卡。
在 Transformer 架构中，为了避免重复计算，模型会将之前生成的 token 信息存在 KV Cache 中。随着上下文增加，这块缓存会迅速吃掉手机极其有限的可用内存。当内存触顶，系统被迫进行内存交换（Swap）或触发 OOM（内存溢出）时，用户会感觉到明显的掉帧和响应延迟。
为了解决这个问题，2026 年的端侧模型普遍采用了两种技术路径：
第一是 KV Cache 量化与压缩。通过将 FP16 的缓存压缩到 INT4 甚至更低，内存占用可以降低 70% 以上。但这会带来一个副作用：长文本的逻辑一致性下降。开发者在实际部署时，需要面对一个残酷的选择——是要响应快，还是要模型“记得住”。
第二是 稀疏激活（Sparse Activation）。虽然 MoE（混合专家架构）在云端大放异彩，但在端侧，MoE 带来的参数体量反而加剧了内存墙问题。我们在《MoE架构下放边缘设备，内存墙还在怎么破》中提到过，单纯的稀疏激活无法绕过内存带宽限制，必须配合专家路由的精细化控制，才能在不增加 TTFT 的前提下提升模型能力。
硬件厂商的“暴力”与“巧劲”
面对内存墙，硬件厂商不再只盯着 NPU 的算力，而是开始在内存架构上动刀。
Arm 在 2026 年发布的新能源架构（AGI CPU）提供了一个关键解法：通过优化内存控制器和引入更高效的缓存分级，显著提升了端侧 Agent 运行 50 亿参数模型时的能效比。这意味着模型权重在内存与计算单元之间的搬运效率得到了提升。这不仅是速度问题，更是续航问题。正如《Arm新能源架构发布：端侧Agent跑50亿参数不掉电的底气》所揭示的，低功耗常驻才是 AI Agent 成为手机“原生 OS”的前提。
除了硬件升级，软件层面的“投机采样”（Speculative Decoding）成了降低 TTFT 的秘密武器。其逻辑是：先用一个极其微小的模型（比如 0.5B 的草稿模型）快速生成几个 token，再由大模型（比如 3B 的验证模型）一次性并行验证。如果验证通过，原本需要多次迭代的生成过程被压缩成了一次，首 token 的感知延迟被大幅降低。
从“参数竞赛”到“体验工程”
Kimi K3 等万亿参数模型的出现，证明了 Scaling Law 在云端依然有效，但在端侧，这种逻辑被“知识密度”所取代。MiniCPM-2.4B 等模型的成功证明了：通过更高质量的数据训练，2B-3B 规模的模型可以拥有接近 10B 模型的逻辑能力，同时在 TTFT 上拥有绝对优势。
现在的端侧推理已经进入了“体验工程”阶段。一个合格的端侧 AI 产品，其技术栈应该是这样的：
- 模型层：高知识密度 3B 模型 $ ightarrow$ 4-bit 量化 $ ightarrow$ 投机采样优化。
- 内存层：KV Cache 动态量化 $ ightarrow$ 内存分级管理 $ ightarrow$ 减少不必要的权重加载。
- 硬件层：利用 AGI CPU 的内存带宽优化 $ ightarrow$ NPU 专用指令集加速。
对于开发者而言，不要再迷信“参数越大越强”。在端侧，100ms 的延迟降低，比 2 个百分点的 MMLU 分数提升更能赢得用户。如果你在构建端侧 Agent，与其在上下文窗口上死磕，不如先去测一下你的首 token 延迟是否超过了 500ms。如果超过了，那么无论你的模型多么聪明，在用户眼中它依然是一个“反应迟钝”的软件。
