前沿研究
手机能跑32B，但端侧推理更需要通专融合
一组实测里，24GB 内存的骁龙 8 Gen 5 手机运行 INT4 量化 32B 模型，十分钟后从每秒 8 token 降到 3 token。端侧部署该比的，不只是参数量，而是底座常驻、插件路由、内存搬运和芯片适配能否
阅读全文
Search
站内搜索
关键词：模型压缩
找到 13 篇相关文章
前沿研究
前沿研究
一句话找照片，手机相册为何适合端侧多模态模型
相册里的搜索、编辑和分享原本分属不同工具。端侧多模态模型把图像理解与自然语言检索放进同一条本地流程，减少照片上传，也方便弱网或离线使用。体验上限仍由模型压缩、内存、调度和散热决定。
阅读全文
前沿研究
手机端 7B 模型跑通后，厂商为什么还在压缩 1.8B 小钢炮
2026年中端手机集体押注1.8B参数级模型，vivo、OPPO、荣耀先后推出相关机型。从内存占用、首字延迟、电池发热三个维度对比7B，1.8B在算力受限场景下实现了更优能效比。产业原因在于模型压缩技术成熟、芯片NPU专
阅读全文
前沿研究
从蒸馏到结构化剪枝，2026年模型压缩怎么选
模型文件变小，不等于端侧推理更快。量化压低位宽，蒸馏训练更小的学生模型，结构化剪枝直接改变网络形状。面向2026年的部署，算子支持、内存访问和持续功耗比单看压缩率更有参考价值。
阅读全文
技术应用
Arm端侧AI能效，先别急着谈实测
公开素材还不足以支撑“2026下半年真实功耗实测”的说法。更可靠的看点是，Arm、苹果等厂商正在把端侧AI竞争从模型压缩，推向芯片、运行时、工具链和设备场景的协同。
阅读全文端侧大模型变了：从拼参数到拼系统配合
2026年，端侧AI竞争焦点从模型压缩转向软硬件协同。苹果WWDC2026发布AFM3系列，强调结构与芯片的配合；安卓阵营则在算力堆料与量化适配上寻找突破口。行业人才需求也从基础算法转向系统级优化。
阅读全文M5 iPad Pro本地跑30B模型，文档摘要200毫秒
搭载M5芯片的iPad Pro首次在iPadOS 19上本地运行30B参数大模型，文档摘要延迟仅200毫秒，比云端快1.2-3秒。苹果通过INT4量化将模型压缩至15GB，配合16核神经网络引擎和翻倍的内存带宽实现这一突
阅读全文端侧大模型功耗墙：手机厂商如何解决70B模型的发热难题
iPhone 19跑70B模型1.2秒响应却因过热降频，揭示了端侧AI从‘能跑’到‘好用’的巨大鸿沟。本文拆解2026年手机厂商如何通过异构计算、动态量化与新型散热材料，在NPU算力与续航之间寻找平衡点。
阅读全文端侧模型卷进智能手表：跑18小时AI，交了多少电税
3B模型在手机跑通后，更小的参数开始下沉到智能手表。实测发现，1.5B模型在手表上每次深度交互耗电超1%，5分钟升温触发降频。在1W功耗和内存带宽限制下，手表AI目前只能做端云折衷，专攻健康监测等窄场景才是出路。
阅读全文3B模型打败70B，靠的是什么
2026年，VibeThinker-3B模型在基准测试上逼近甚至超越70B大模型，引发行业关注。文章聚焦小模型在端侧推理中的现实路径，对比蒸馏、量化、SFT和GRPO等技术，并探讨企业如何在成本、性能和特定场景间找到平衡
阅读全文小模型‘逆袭’之后：2026年下半年开源社区微调与蒸馏工具链最新评测
2026年，AI发展范式从‘堆参数’转向效率与性能平衡，小模型‘逆袭’成为主流趋势。本文深度评测当前（2026年中）开源社区最前沿的微调与蒸馏工具链，聚焦Hugging Face生态、新兴框架及社区最佳实践，为开发者提供
阅读全文超越‘堆参数’：2026年小模型‘逆袭’现象深度剖析——以VibeThinker等案例为例
2026年，AI发展范式正从单纯追求模型参数规模转向注重效率与性能的平衡。本文以近期表现亮眼的VibeThinker为例，深度剖析小模型逆袭背后的关键技术路径（如SFT+GRPO）、原理及其在资源受限场景下的广阔应用前景
阅读全文