2026年7月18日，WAIC 2026张江科学会堂，后摩智能展示了一台手掌大小的Agent Computer，称其可驱动千亿参数大模型；同场的本地“桌面AI助理”可以一句话生成PPT。大洋网当天的报道把这些设备归在M50 Inside终端之下。
展台把端侧设备的上限拉得很高。开发者更常碰到的问题要具体得多：10B参数模型装进轻薄本后，FP16、INT8、INT4和2-bit该怎么选？
先把测试边界摆出来
测试平台包括三台2026年市售轻薄本，分别搭载高通骁龙X Elite、英特尔Lunar Lake和AMD Ryzen AI 300。按测试记录，三者NPU算力分别为100、48和50 TOPS。现有完整速度数据只覆盖骁龙X Elite与Lunar Lake，因此不对AMD平台做横向判断。
腾讯云开发者社区2026年7月12日的一篇文章提到，骁龙X Elite的Hexagon NPU算力突破100 TOPS，并展示过量化70B模型达到38 tokens/s。那次演示与这里的模型规模、测试设置都不同，只能作为硬件背景，不能直接比较。
本次使用的是基于Llama 3架构的开源10B参数模型，采用dense架构，非MoE。推理框架为llama.cpp和Ollama，测试分为两组：
- 纯文本生成：固定Prompt，输出256 token；
- 多轮对话：连续5轮问答，平均每轮输出128 token。
能力测试采用MMLU子集和内部数学推理题库。前者并非完整MMLU，后者也不是公开基准，所以这些数据更适合观察同一模型在不同量化档位下的变化，不宜外推到所有10B模型。
四档结果放在一起，INT4最显眼
| 量化精度 | 骁龙X Elite（tokens/s） | Lunar Lake（tokens/s） | MMLU准确率损失 | 内部数学题库通过率 |
|---|---|---|---|---|
| FP16 | 12.4 | 8.1 | 基准（0%） | 82% |
| INT8 | 23.7 | 15.3 | -1.2% | 80% |
| INT4 | 42.1 | 27.8 | -4.7% | 74% |
| 2-bit | 68.3 | 44.5 | -18.5% | 51% |
表中速度为多轮对话的平均输出速度，MMLU损失均以FP16为基准。
先看INT8。骁龙X Elite从12.4提升到23.7 tokens/s，Lunar Lake从8.1提升到15.3 tokens/s；MMLU损失1.2%，数学题通过率从82%降到80%。速度变化已经能被明显感知，能力曲线仍贴近FP16。
真正拉开使用体感的是INT4。骁龙X Elite达到42.1 tokens/s，Lunar Lake为27.8 tokens/s。对应的代价是MMLU下降4.7%，数学题通过率降至74%。对于本地摘要、客服草稿和普通问答，这个档位比较容易接受。
同为INT4，骁龙X Elite的速度比Lunar Lake高约51%。100 TOPS与48 TOPS没有按比例换成tokens/s，也说明NPU标称算力只能解释一部分结果，量化算子和推理后端同样会影响最终速度。
2-bit把速度继续推到68.3和44.5 tokens/s，能力下降也开始集中暴露。MMLU损失18.5%，数学题通过率只剩51%。这类配置可以承担临时草稿，涉及推理和准确执行指令的任务风险很高。
复杂指令比跑分更早露出问题
测试中有一道组合指令：“总结上文，但删除所有数字，并用比喻重写。”INT4模型已经会漏掉部分要求，2-bit模型则经常保留本该删除的数字。
这类错误对普通闲聊影响有限，放进法律文档分析或代码生成流程就很麻烦。需要严格遵守格式、条件和步骤时，INT8更稳。它在两台有完整记录的设备上仍能给出15.3至23.7 tokens/s，数学题通过率也只比FP16低2个百分点。
创意任务也出现了变化。面对“为一个在雨中行走的机器人写五个比喻”这一提示，FP16给出的五个意象各不相同；INT4有两个比喻接近；2-bit开始重复相似句式。单看MMLU，很难看出这种多样性损失。
按任务选精度，别只追最高速度
- 实时语音助手： 在NPU高于80 TOPS的设备上可以优先试INT4。已测的骁龙X Elite达到42.1 tokens/s，MMLU损失4.7%。这项数据只代表持续生成速度，没有覆盖首token延迟和完整语音链路。
- 办公助理、RAG问答： INT8更稳妥。两台设备的速度落在15.3至23.7 tokens/s，能力损失较小。按本次部署记录，内存占用比INT4高约25%。
- 灵感速记、资源紧张的草稿任务： 2-bit可以尝试，但输出必须经过人工复核。18.5%的MMLU损失和51%的数学题通过率，已经不适合直接进入可靠性要求较高的流程。
- 质量基线与回归测试： 保留FP16结果。后续调整量化方式、后端或提示词时，需要它判断速度提升究竟换走了多少能力。
苹果M4 MacBook不能直接套用这张表。统一内存架构可能影响INT4模型的加载表现，但本组没有M4平台的可比数据。AMD Ryzen AI 300也要先确认目标后端是否可用，包括llama.cpp的ROCm支持情况。
东吴证券2026年2月23日发布的《2026年端侧AI产业深度》把端侧SoC放在终端重构的讨论中心。到了开发环节，仍要检查模型能否走到目标NPU或GPU后端、量化算子是否完整，以及内存调度能否撑住长对话。
长对话还有一笔KV Cache的账
短Prompt跑得快，不代表多轮会话一直维持同样速度。本次测试中，对话超过8轮后，INT4模型的推理速度下降约15%。测试记录将这一下降指向KV Cache占用：权重压到INT4后，缓存并不会自动按同样比例缩小，上下文越长，压力越明显。
可以优先选择采用GQA分组查询注意力的模型。如果产品允许端云协同，也可以通过语义路由把长上下文请求交给云端处理。无论采用哪种方案，256 token的短测试都不够，正式上线前应把真实会话拉到8轮以上重新压测。
对这组10B dense模型，较稳的部署顺序是：先用INT8建立质量基线，再拿真实Prompt测试INT4；2-bit只留给可人工复核的草稿。随后延长会话，重新检查KV Cache、速度和内存占用。这样选出的配置，比单看TOPS数字更接近实际使用。
