前沿研究
从蒸馏到结构化剪枝，2026年模型压缩怎么选
模型文件变小，不等于端侧推理更快。量化压低位宽，蒸馏训练更小的学生模型，结构化剪枝直接改变网络形状。面向2026年的部署，算子支持、内存访问和持续功耗比单看压缩率更有参考价值。
阅读全文
Search
站内搜索
关键词：端侧推理
找到 39 篇相关文章
前沿研究
技术应用
小米 SU8 端侧大模型首测：车机对话断网还能聊几轮
小米SU8搭载的端侧大模型在隧道、地下车库等断网场景下实测：连续对话续航超过40轮，响应延迟稳定在580毫秒以内，功耗增幅控制在8%以下。对比蔚来NOMI云端方案和理想Mind GPT混合架构，SU8的离线能力优势明显，
阅读全文
前沿研究
苹果Vision Pro 3里的AI眼动追踪，为什么还是关不掉延迟
2026年7月苹果推送Vision Pro 3的AI眼动固件后，开发者实测端到端延迟仍在65-90ms区间，比前代仅改善约12%。本文从端侧NPU调度冲突、注视点渲染管线瓶颈与模型量化精度损失三个工程维度，拆解当前空间计
阅读全文
前沿研究
端侧AI升温，高通与联发科为何更离不开Arm
高通与Arm的授权争议、联发科对模型和开发工具的密集投入，指向同一个问题：端侧AI竞争已经压到芯片底层。Arm授权决定产品能否延续，工具与模型适配则决定AI能力能否真正交付。
阅读全文
AI 工具箱
旧手机跑视频模型，15秒等了38分钟
用一台骁龙8 Gen3、12GB内存的小米14 Pro实测Wan2.1 1.3B量化版：生成15秒720p短片耗时38分12秒，峰值内存8.7GB，温度接近70℃。它还谈不上好用，但本地跑通已经不是空想。
阅读全文
AI 实操指南
Rust 重写推理调度器，性能账别只看吞吐
一次推理调度器迁移里，Rust 让 p99 延迟和内存稳定性变好，却在 FFI 边界损失了吞吐。C++ 老手关心的不是语言输赢，而是组件边界该怎么切。
阅读全文
战略前瞻
产业动态
Arm 自己造芯片这事，手机厂商看完更睡不着了
Arm 决定亲自下场做 AI 芯片，Meta 据传是首位客户。这条新闻表面看是云端战场，背后真正让手机厂商焦虑的是端侧 14B 模型部署的瓶颈——热密度和内存带宽。Arm CSS 平台和高通、联发科、苹果的路线对比，IP
阅读全文骁龙8 Gen5实测翻车：14B模型跑顺了，但摄像头被烤到47℃
三款骁龙8 Gen5量产旗舰机实测数据出炉：NPU调度优化成功将14B模型整机功耗压至5.8W，但热成像显示SoC热点从传统中框位置横向串扰至摄像头模组，最高温度飙至47.2℃，影响握持体验并威胁CMOS成像质量。端侧大
阅读全文端侧NPU调度优化：让14B模型在骁龙8 Gen5上流畅运行的秘诀
骁龙8 Gen5让14B模型端侧运行成为现实，但内存溢出与持续降频仍是痛点。本文结合2026年6月落地的混合精度量化与稀疏激活技术，深入解析编译器指令集优化、动态批处理及内存池化策略，提供从算子级加载到功耗控制的代码级优
阅读全文M5 最值得看的是 GPU 里的 AI 单元
Apple M5 把 Neural Accelerator 放进 10 核 GPU 的每颗核心里，让端侧 AI 多了一条计算路径。峰值性能提升很醒目，但真正影响体验的，仍是推理、渲染、内存和功耗如何分配。
阅读全文
AI 工具箱
Arm 端侧跑 7B，三款框架实测怎么选
同跑 Qwen2.5-7B-Instruct INT4，骁龙 X Elite 上 ExecuTorch 首 token 更快，天玑 9400 上 MNN 吞吐反超，llama.cpp 胜在内存稳定。框架选择要跟芯片、任务
阅读全文