端侧大模型这件事，已经从“能不能跑”变成了“怎么跑得稳”。
龙腾亚太在《2025端侧大模型技术分析》中给过一个定义：端侧大模型部署在手机、汽车、智能家居等终端设备本地，依靠CPU、NPU或GPU完成推理。它追求的不是云端那种无限堆算力，而是在资源受限的设备上，把延迟、隐私、功耗和体验压到一个可接受的范围内。
这也是量化绕不开的原因。模型量化把原本以FP16、FP32存储和计算的参数，压到INT8、INT4等低精度格式。超智咨询的量化指南里提到，LLaMA-70B如果用FP16存储，需要约140GB显存，单张A100 80GB也装不下。端侧设备的内存和功耗空间更紧，量化不是锦上添花，而是上机前的基本功。
不过，INT4并不天然比INT8更适合手机。它确实更省存储，但能不能更快、更省电，要看芯片和工具链。
先别急着做“芯片跑分”
原始方案想比较骁龙、天玑、苹果A系列在INT4/INT8下的延迟、发热和续航。这个方向对开发者有用，但要小心一个坑：如果没有同一模型、同一提示词、同一散热环境、同一系统版本下的实测数据，直接写“谁快多少、温度高多少”，很容易变成看起来精确、实际不可复现的结论。
更稳妥的写法，是把问题拆成几个工程判断：
- INT8是否有稳定的NPU算子支持；
- INT4是否会触发CPU或GPU回退；
- 模型加载和KV Cache会不会挤爆内存带宽；
- 连续生成时是否触发降频；
- 系统能否把推理任务和前台交互隔离开。
这些因素比单次跑分更影响用户体验。生产环境里的端侧推理，往往输在“第二分钟之后”。
骁龙平台：INT8通常更稳
在安卓旗舰机上，高通骁龙平台的优势通常来自成熟的异构计算链路：CPU、GPU、Hexagon NPU各司其职。开发者常见路径是先把模型导出为ONNX，再接入高通侧的NPU工具链做部署和调优。
如果目标是稳定上线，INT8往往比INT4更安全。原因很直接：INT8算子支持更成熟，推理链路更容易留在NPU里。模型体积比FP16明显下降，内存带宽压力也会小很多。对聊天助手、摘要、搜索补全这类功能来说，稳定输出比追求极限压缩更重要。
INT4的问题在于“压缩收益”和“执行代价”不一定同向。模型文件小了，但如果某些算子无法在NPU上顺畅执行，任务就可能回退到CPU或GPU。这样一来，首字延迟、功耗和温度都可能变差。开发者看到的现象是：模型更小，机器却更热；理论吞吐更高，真实体验反而不稳。
所以在骁龙平台上，比较务实的策略是：先做INT8版本，把ONNX转换、算子覆盖、内存峰值和长时间生成稳定性跑通；只有在设备内存非常紧、模型必须进一步压缩时，再评估INT4。
天玑平台：峰值能力之外，要盯住持续输出
联发科天玑平台近几年在端侧AI上投入很重，NPU和Arm生态的结合也让它适合做多种模型尝试。对开发者来说，天玑平台的吸引力在于：CPU侧整数运算能力、NPU能力和系统调度都有发挥空间，轻量Agent、实时翻译、意图识别这类任务可以做得比较灵活。
但端侧大模型不是只跑一次benchmark。连续生成、长上下文、多轮对话，会持续拉高内存访问和芯片功耗。此时最需要观察的不是峰值tokens/s，而是降频之后还能不能维持可用速度。
如果项目要覆盖天玑设备，建议把测试重点放在三件事上：
- 同一提示词连续生成时，输出速度是否明显下滑；
- INT4量化是否真的减少功耗，而不只是减少模型大小；
- 前台交互、语音输入、屏幕刷新和模型推理是否互相抢资源。
天玑平台并非不能用INT4。相反，在轻量模型、频繁加载的小任务里，INT4可能有价值。但如果是长文本生成或多轮对话，仍然要用实际温控表现说话。
苹果A系列：少折腾底层，多顺着Core ML走
苹果的端侧AI路线更强调软硬件一体化。21经济网在2026年6月的报道中提到，苹果的思路是从模型结构上为端侧省算力，推出约200亿参数的端侧主力AFM 3 Core Advanced，并通过稀疏架构让每次推理只激活一部分参数。Google的Gemini Nano则是另一个代表，早期Gemini技术报告称它由更大的Gemini模型蒸馏而来，面向端侧部署。
西南证券在2024年6月的《科技公司的端侧AI布局》中也提到，苹果公布过MM1多模态大模型系列，包含最高300亿参数版本，也有70亿、30亿参数等版本。这些信息说明一个方向：端侧不是简单把云端模型搬到手机上，而是从模型尺寸、结构和系统调度一起重做。
对开发者来说，苹果A系列设备上更现实的选择是Core ML。能走Core ML就不要绕太多格式转换。ONNX在跨平台迁移上很方便，但苹果生态里，额外转换可能带来兼容性和精度问题。
INT8在苹果设备上通常是优先选项。它更容易和系统级推理能力配合，也更适合做隐私敏感场景：输入法建议、照片理解、个人知识检索、离线摘要等。端侧处理的好处不是“绝对安全”，而是减少数据离开设备的必要性。
苹果路线的代价也明显：底层自由度较低。遇到特殊算子、非标准结构或自定义推理逻辑时，调试空间不如安卓开放。要么顺着Core ML改模型，要么接受更高的适配成本。
ONNX、TensorRT和Core ML该怎么放
跨平台部署时，ONNX仍然是一个常用中间格式。它适合把PyTorch、TensorFlow模型导出后，在高通、联发科等不同工具链之间迁移，也方便做AB测试。
但ONNX不是终点。真正影响性能的是后端能不能吃下这些算子。模型转换成功，只说明格式过关；NPU是否加速、是否出现CPU回退、量化后精度是否掉得太多，还要逐项验证。
TensorRT和TensorRT-LLM更偏向NVIDIA GPU环境。它们在服务器和部分边缘设备上很强，但不能简单等同于手机端NPU优化。移动端项目如果写“TensorRT优化”，需要说明具体硬件和转换路径，否则容易误导读者。
苹果平台则尽量走Core ML。少一层转换，就少一层不可控因素。
INT4和INT8，按场景选
如果应用是实时输入建议、短摘要、意图识别、轻量翻译，INT8通常是第一选择。它的精度、速度和工具链稳定性更容易平衡。
如果应用必须在低内存设备上运行，或者模型需要频繁加载卸载，INT4才更值得投入。它能明显降低模型体积，但前提是芯片和推理框架真的支持对应算子。否则，INT4会把问题从“内存不够”转移成“算子回退、发热和延迟抖动”。
生产环境还要算另一笔账。Tianpan在端侧LLM推理文章里提到，外场技术人员、飞行员、海事操作员、工厂车间工具等离线优先场景，即使本地7B模型只有每秒15个token，也好过一次永远无法完成的云端API调用。对打字助手、搜索自动补全、实时翻译这类同步交互来说，200毫秒的网络往返也会让用户感觉卡顿。
端侧推理把成本从云端token账单，转移到了用户设备上：电池、发热、内存占用和系统流畅度。这个成本不出现在云服务账单里，但用户会直接感受到。
更像上线方案的判断
骁龙平台，优先把INT8跑稳，再考虑INT4压缩。重点看NPU算子覆盖和长时间生成是否降频。
天玑平台，可以更积极测试INT4，但不要只看峰值速度。连续输出、机身温度和前台流畅度更关键。
苹果A系列，尽量顺着Core ML和系统能力走。少做不必要的格式绕路，把重点放在模型结构、量化精度和隐私场景上。
端侧大模型的量化部署，不是把模型从FP16改成INT8或INT4就结束了。真正的难点在后半段：模型能不能留在NPU里跑，连续运行会不会热，用户打字和滑动会不会卡，电量掉得是否可接受。
这些问题解决了，端侧模型才算真的部署成功。
