端侧模型的“轻”，很容易被理解成参数少。可手机真正承担的是整条运行链路：权重存储、内存带宽、单次推理的实际计算量、芯片算子支持，以及后续更新成本。把模型文件压小，只解决了其中一部分。
21世纪经济报道在2026年6月23日的报道中提到，苹果为端侧设计的AFM 3 Core Advanced约有200亿参数，但借助稀疏架构，每次推理只激活部分参数。同一报道援引早期Gemini技术报告称，Google的Gemini Nano由更大的Gemini模型蒸馏而来，目标就是端侧部署。
这两条路线给端侧小语言模型（SLM）划出了一条清楚的边界：模型总量依然重要，但一次请求用了多少计算、设备实际保留了哪些能力，同样需要单独核算。
大模型不必每次全部开工
稀疏激活先改掉了一个常见误区：总参数量不能直接等同于单次推理量。
AFM 3 Core Advanced保留了约200亿参数的模型容量，运行时再根据输入选择部分计算路径。这样做给端侧部署留下了新的空间——模型可以保留较大的能力上限，同时控制一次推理真正参与计算的规模。
不过，稀疏模型并不天然省电。路由本身有开销，未激活的权重往往仍需存放或调度；如果芯片和运行时不擅长处理稀疏算子，理论上的计算节省也未必能转化成更低延迟。
评估这类模型时，除了总参数量，还要看实际激活参数、峰值内存、首字延迟和持续功耗。公开信息目前能够确认的是AFM 3 Core Advanced的参数规模和部分激活设计。至于具体能省多少电，仍需放在同一设备、同一任务下测试。
蒸馏先做能力取舍
Gemini Nano走的是另一条路：先让更大的模型承担训练和知识组织，再把适合终端的行为迁移给更小的学生模型。它不需要复制教师模型的全部参数，训练目标集中在目标任务上的输出表现。
这条路线适合任务边界较清楚的端侧应用。模型无需携带云端模型的全部长尾知识，训练和评测也可以围绕高频任务收窄。代价同样明确：教师模型的偏差可能被一并压缩，训练样本没有覆盖的能力，学生模型也很难凭空补齐。
中国指挥与控制学会在2026年7月10日发布的月度追踪中，将当时的竞争重心概括为从“模型参数与榜单能力”转向“智能体落地、端侧算力部署与合规治理体系建设”。放到蒸馏上，评价标准也该随之变化：重点是模型能否在目标设备和目标流程里稳定完成任务，而非复制多少通用能力。
精度和更新，都改成分层处理
量化可以减少权重存储和计算开销，但端侧部署不适合把所有层统一压成同一种格式。INT4、INT8、FP8和BF16的数值表达、存储成本与硬件支持不同；模型中的敏感层和非敏感层，对低精度的承受能力也有差异。
混合精度的做法，是为关键层保留较高精度，再压缩其余部分。这样比全模型统一量化更灵活，也更考验工具链。选型时不能只看位宽，还要确认芯片有没有对应算子、运行时是否完成适配，以及精度损失具体落在哪些任务上。
落到A19或骁龙8 Gen5这类终端平台，某种精度格式能否带来速度或功耗优势，不能只靠理论推导。缺少同口径实测时，也不宜直接给出温度、延迟或续航数字。
模型部署后还有更新成本。如果每次适配新任务都改动全部权重，训练内存、更新包和版本回滚都会变重。参数高效微调（PEFT）把改动限制在少量新增参数或选定参数上，更适合做范围明确的端侧适配。
量化处理模型怎么跑，PEFT处理模型怎么改。两者可以配合设计，但解决的是不同问题。
别再只问模型能不能塞进手机
端侧模型的评估指标需要继续拆细：
- 一次常用请求实际激活多少参数；
- 量化后最先受损的是哪些任务；
- 芯片和运行时是否支持目标精度；
- 模型更新需要替换多少权重；
- 连续运行时，延迟、功耗和发热是否稳定。
稀疏激活控制单次计算，知识蒸馏收窄能力范围，混合精度与参数高效微调则处理部署和更新成本。三条路线都没有脱离硬件单独成立的答案。
2026年的变化在于，参数规模不再独自决定端侧方案。只有把计算量、精度和更新范围一起控制住，轻量化才会从“模型文件更小”，变成设备可以持续承受的工程能力。