在手机相册里输入“去年夏天的海滩,有红色遮阳伞”,系统找到对应画面;再圈出背景里的游客,完成消除,并根据照片生成一段分享文案。
如果这些操作在飞行模式下仍能完成,端侧多模态模型的用处就很直观:照片不必先传到服务器,搜索、理解和编辑也不再是几套彼此割裂的功能。
先把“找图”这件小事做顺
过去的相册搜索主要依赖拍摄时间、地点、人脸和预设分类。用户记不清日期,也没给照片打过标签时,往往只能不断向下滑。
多模态模型换了一种找法。它把图像内容与自然语言放进同一语义空间,用户搜索“红色遮阳伞”时,系统匹配的是画面含义,而不只是文件名或标签。照片索引和查询都可以在本地完成,这也让离线检索有了实际基础。
东兴证券在2024年发布的《端侧智能行业:人工智能重要应用,产品落地爆发在即》中,将大模型压缩等技术进展视为端侧产品落地的重要条件。手机相册很适合承接这类能力:数据原本就在设备里,任务范围清楚,用户也能马上判断结果是否准确。
从找图到发布,中间少几次跳转
体验差别出现在搜索之后。
找到照片只是第一步。接下来还有去除路人、调整色彩、挑选同组照片、生成文案和分享。以往,这些动作可能分散在相册、修图工具和聊天机器人里,照片与提示词需要反复导入。端侧多模态方案可以让检索结果直接成为编辑上下文,前一步识别出的场景、人物和主体,继续供后续操作使用。
Apple Intelligence采用端侧处理与私有云计算配合的思路,也说明手机AI不必在“全部本地”和“全部上云”之间二选一。语义检索、基础消除和批量调色更适合留在设备上;复杂创意编辑、多轮对话式修图,以及需要外部知识的识别任务,仍可交给云端。
隐私收益,要落实到少上传
相册里存放着大量私人影像。在线编辑通常需要上传原图,本地推理则能减少照片在云端中转的次数,相关索引也可以留在手机中。
本地处理不等于绝对安全,但它至少去掉了上传这一环。判断一款“AI相册”是否真正用到了端侧能力,可以看两个简单问题:断网后还能不能搜索照片,完成基础编辑时是否必须上传原图。
这比笼统地强调隐私保护更容易验证。用户打开飞行模式,就能知道答案。
跑起来不算完,连续跑才见真章
模型能在手机上启动,只是第一道门槛。内存占用、芯片调度、散热和电池消耗,决定了它能不能稳定工作。
《chacun.cpp 开源一周,旧 iPhone 先撞上内存和温控》记录过一个直接的边界:4GB内存的iPhone 11运行复杂推理约五分钟后触发降频。这个案例针对旧设备,不能外推到所有手机,但它说明了一个问题——端侧体验看的是持续运行,不是偶尔跑通一次。
调度和压缩分别在给设备减负。《端侧 Agent 怎么省电?关键是少让 CPU 介入调度》提到,在其测试条件下,通过CPU、GPU、NPU分工,CPU干预负载可降至0.5%以下。《权重大小量化提速:臃肿依赖让Agent体重居高不下怎么瘦身》给出的W4A16方案,则将推理显存降低60%以上,容器体积压至500MB以内。
这些方法解决的是频繁唤醒、显存占用和安装体积。连续编辑时是否降频、后台应用会不会被挤掉,仍取决于整机的内存与散热设计。
小场景更容易看出产品成色
华为在《智能世界2035》中提到,AI的关注点正回到“价值沉淀、应用深化”,重点落在效率提升、成本优化和具体产品上。
手机相册符合这个方向。它不需要万亿参数的通用模型,先把三件事做好就有用:用户能用自然语言找到照片,基础编辑可以在本地完成,超出设备能力时再清楚地切换到云端。
如果断网后搜索立即失效,去除一个路人仍要上传原图,那么“端侧”更像产品标签。反过来,哪怕模型规模不大,只要能把找图、编辑和分享衔接顺,并让照片尽量留在手机里,相册的使用方式就已经变了。
端侧多模态的成色,不在发布会术语里。打开飞行模式,搜一次旧照片,答案就很清楚。