过去谈手机端侧AI，发布会上的重点往往是NPU性能、峰值算力和模型规模。真正用起来，用户关心的是另一套问题：搜索一张照片要等多久，输入法生成回复会不会卡顿，连续修图后手机是否发热，以及这些功能会消耗多少电量。
2025骁龙峰会·中国期间，荣耀宣布Magic8系列与MagicPad3 Pro首发搭载第五代骁龙8至尊版移动平台。荣耀与高通联合研发的端侧AI模型方案采用低bit量化技术，借助Qualcomm Hexagon NPU，将模型存储空间减少30%，推理速度提高15%。
相比单独强调TOPS，这两个数字离实际体验更近。模型变小，才更有可能长期留在手机里；推理加快，则会直接影响相册搜索、输入法生成和实时翻译是否顺手。
相册搜索，不能只在演示时准确
手机相册是用户较容易感知端侧AI价值的地方。
传统相册主要按照时间、地点、人脸和预设标签整理照片。加入多模态模型后，用户可以尝试用更接近日常表达的方式搜索，例如描述画面内容，而不必准确记住拍摄日期。系统需要理解文字，再从本地照片库中找到对应图像。
把这项工作放在设备内有两个直接好处：私人照片不必为了每次搜索上传云端，弱网或离线时也可以继续使用。
难点也在这里。照片会不断增加，系统需要更新索引，还要控制内存占用和后台功耗。发布会演示能找到一张照片，只能证明功能可以运行；长期使用时是否稳定、是否拖慢手机，是另一回事。
智能修图对设备的压力更大。主体识别、局部调整和图像生成可能连续发生，运行时间也通常长于一次文字补全。此时，峰值算力无法解释全部体验，内存与存储速度、任务调度和散热都会影响等待时间。
美光的端侧AI资料提到，AI从云端扩展到数据存储所在的端侧设备，会提高对内存与存储容量、速度和效率的要求。模型即使装得进手机，数据搬运跟不上，功能仍可能卡在处理界面。
输入法要快，还不能一直耗电
输入法比相册更难处理。它贯穿聊天、搜索、邮件和文档编辑，模型不仅要理解上下文，还必须尽量缩短等待时间。
如果补全、改写和回复生成都依赖云端，网络延迟会打断输入节奏，文字内容也需要在设备和服务器之间传输。全部改为本地计算，又会增加调用频率，给功耗和散热带来压力。
这类场景未必需要追求最大的模型。让较小的本地模型承担补全、改写和语气调整等高频任务，把速度与稳定性放在参数规模之前，反而更符合输入法的使用方式。
实时翻译也有类似取舍。旅行、会议和跨语言交流可能遇到网络不稳定，离线运行可以减少对连接质量的依赖，也能避免语音和画面等原始数据反复上传。但翻译往往串联语音识别、文本理解和语音合成，任何一个环节变慢，用户都能直接察觉。
低bit量化先解决装不下、跑不动
手机的资源边界很明确。通信、显示、影像和后台应用都要占用内存、电量与散热空间，留给本地模型的余量有限。云端可以增加服务器，手机不能无限扩大电池和散热系统。
低bit量化使用更低精度的数据表示模型参数，以缩小模型体积，并减少计算和数据搬运压力。荣耀公布的模型存储空间减少30%、推理速度提高15%，对应的正是端侧部署中“装得下”和“跑得动”两个问题。
但模型并非越小越好。精度降低后，输出质量也可能发生变化，而且不同任务的容错空间不同。相册搜索漏掉一张照片，与翻译误解关键词，带来的影响并不一样。厂商需要针对具体功能，在模型体积、运行速度和输出效果之间取舍。
这也是端侧AI不能只靠一颗NPU解决的原因。模型设计、量化方法、内存与存储、操作系统调度必须配合。硬件决定计算能力的上限，软件则决定这部分能力能否被稳定使用。
新模型发布，不代表NPU马上能用
端侧AI还有一个不太容易出现在发布会上的问题：部署。
同一款应用可能要进入手机、PC、车机和IoT设备，并面对高通、Intel、AMD、苹果等不同芯片平台。硬件接口、算子支持和量化方式并不统一，开发者常常需要反复调整模型与代码。
界面新闻对Nexa AI的报道提到，可在高通PC上运行的多模态模型，不能自动移植到高通车载端。报道还指出，NPU对新模型的支持存在滞后，普遍只能运行较早发布的模型，Mistral 3、Qwen3-VL等模型仍需等待适配。
Nexa AI在GitHub发布Nexa SDK，试图减少跨设备部署中的重复工作。统一工具能够降低上层应用的迁移成本，却不能立即抹平芯片之间的差异。一个模型能否调用某项硬件能力，仍取决于工具链、算子支持和驱动更新。
云端服务更换模型时，可以集中调整服务器。端侧应用更新模型，还要考虑大量不同设备。新模型能力再强，如果不能及时在主流NPU上稳定运行，手机用户依然用不到。
数据留在手机里，只解决了一部分隐私问题
相册、输入内容和语音如果在设备内处理，可以减少原始数据上传云端的次数，也能降低数据在传输和集中存储环节暴露的机会。这是端侧AI最直观的吸引力之一。
不过，本地运行只说明计算发生在哪里，并不代表整条链路天然安全。模型文件如何更新、配置由谁下发、哪些应用可以读取推理结果，以及设备丢失后如何保护数据，仍需单独处理。
实际产品也可能采用端云协同：较轻的任务由本地模型完成，超出设备能力的请求再交给云端。对用户来说，产品是否明确说明哪些数据留在本地、哪些请求需要联网，以及能否关闭云端处理，比一句笼统的“端侧运行”更重要。
最后的差距，藏在每天的操作里
东兴证券2024年发布的端侧智能行业报告，将端侧智能视为人工智能的重要应用方向。中国信息通信研究院2024年12月发布的《新一代智能终端蓝皮书》，则把新一代智能终端放在万物智联与协同智慧的背景下讨论。
到了消费电子产品，判断标准没有那么抽象：相册能否迅速找到目标照片，输入法生成内容时是否打断输入，离线翻译在弱网环境下是否稳定，连续修图后手机会不会明显发热。
荣耀的低bit量化方案处理的是模型体积和推理速度，Nexa SDK关注的是不同芯片与设备之间的适配成本。它们对应端侧AI落地的两个具体障碍，但都还需要在实际应用中接受检验。
端侧AI进入相册和输入法后，面对的不是一次跑分，而是反复调用。速度、功耗、散热、隐私和适配，只要有一项处理不好，功能就可能从常用入口退回演示页面。