百亿参数，听起来还是机房里的数字。可在2024年4月18日至19日于北京举行的中国生成式AI大会上，安谋科技产品总监杨磊已经把它放进终端语境。他的判断是：“生成式AI正逐步成为客户端设备上的人机交互界面，而具备100亿参数级别的大模型已成为现有终端设备的最佳匹配规格。”（芯东西）
东兴证券2024年的行业报告也把端侧智能列为人工智能的重要应用，报告标题直接写出“产品落地爆发在即”。（东兴证券）参数不会直接出现在体验里。等待、上传、发热会。手机能否在本地处理一段文字、一张照片或一段录音，才是百亿参数落地后最容易被感知的变化。
少一次网络往返，交互就会变
端侧大模型运行在手机、汽车或智能家居等终端上，依靠设备内的CPU、NPU或GPU完成推理。只要模型和所需数据都在本地，文本摘要、内容润色、图像分类和屏幕理解等任务就不必先把请求发到服务器。
差别在弱网环境里尤其明显。地铁进隧道、酒店Wi-Fi不稳定，云端请求可能停在加载页面，本地任务仍有机会继续。不过，本地推理也不等于“零等待”。模型加载速度、上下文长度、内存带宽、设备温度和软件适配，都会影响响应。没有统一测试条件，单个延迟数字很难代表日常使用。
本地模型还有明确的能力边界。它可以理解眼前的屏幕、相机画面和录音内容；涉及最新法律法规、实时航班、跨领域检索或外部服务调用时，云端通常更合适。手机承担即时处理，服务器补充知识和工具，两边会长期共存。
隐私收益有前提
以修改家人合影为例。如果识别、编辑和生成全部在设备内完成，照片就没有上传服务器的必要。人脸照片、会议录音、办公文档等敏感内容，都能因此减少网络传输和远端存储环节。
但“端侧处理”四个字本身不是安全承诺。应用可能在本地能力不足时自动转向云端，系统日志、备份、插件和权限设置也可能接触相关数据。用户真正需要知道的是：当前任务在哪运行，哪些数据会离开手机，切换云端前是否会得到提示。
这比笼统强调“隐私计算”更有用。产品若无法说清数据路径，本地大模型再大，也很难建立稳定信任。
百亿参数的麻烦，从5GB开始
100亿参数也就是10B。采用4-bit量化后，仅模型权重的理论体积就接近5GB：100亿个参数乘以4 bit，再除以8。这个数字还没有算入运行框架、上下文缓存、临时内存和多模态组件。
能存进手机，与能够长期驻留、稳定运行，是几件不同的事。围绕高通骁龙8 Gen 4的Hexagon NPU、联发科天玑9400的APU，讨论常被压缩成一句“能跑多大模型”。实际体验还要看内存、散热、功耗和软件栈。持续调用大型模型，显然比偶尔处理一次摘要更考验整机。
更务实的做法是按需加载：常用的小任务交给更轻的模型，复杂请求再调用百亿参数模型，必要时转向云端。参数量也不是能力的唯一刻度。OpenBMB公开材料把模型工艺和知识密度列为小模型提升能力的路径，并以MiniCPM-2.4B为例说明，小体量模型仍有优化空间。（OpenBMB演讲材料）
开发者先做任务分流
接近5GB的权重文件，不能像普通应用素材一样随意更新。首次下载是否占用移动流量、版本升级要替换多少内容、老机型能否继续运行，都要在产品设计阶段解决。
任务放在哪里，也需要提前划清：
- 屏幕内容理解、短文本处理、私密图片编辑和离线指令，可以优先放在本地；
- 最新信息检索、复杂工具调用和外部服务操作，更适合交给云端；
- 较长的工作流可以拆开，本地先识别意图或处理敏感信息，再决定是否请求服务器。
这种分流不该完全藏在界面背后。应用至少要标明本地与云端模式，并说明本地处理失败后会发生什么。否则，用户既无法判断隐私边界，也很难理解同一项功能为何有时快、有时慢。
出货量很热，统计口径还要看清
龙腾亚太2025年10月发布的一篇技术文章称，搭载端侧大模型的终端设备出货量同比增长超180%。（龙腾亚太）不过，该文摘要没有披露统计范围和计算口径，这个数字更适合作为观察市场热度的线索，不宜直接当成统一的行业基线。
判断端侧AI是否已经成熟，还是要回到几个具体问题：断网后哪些功能可用？照片、录音和文档是否上传？模型占多少存储空间，如何更新？本地能力不足时，系统会怎样切换云端？
百亿参数模型进入手机后，AI可能不再只待在聊天框里。它会进入相册、键盘、录音、相机和系统搜索，处理用户眼前的内容。参数大小决定了能力上限，任务分流和数据说明则决定这项能力是否真的好用。
