手机多模态推理压到200毫秒，先拆内存墙
拍照提问时，2秒等待足以打断操作，200毫秒才接近即时反馈。3B级模型要缩短首字延迟，得同时减少权重、视觉Token与KV Cache搬运，并让量化方案真正匹配Arm指令和手机NPU。
阅读全文
Search
站内搜索
关键词：手机
找到 120 篇相关文章
前沿研究
R1开源后，手机跑30B模型先撞上散热墙
24GB内存的骁龙8 Gen 5旗舰机，已经能本地运行INT4量化的Qwen-32B：首字2.1秒，起步约8 tokens/s。持续推理后，机身升至46°C、速度掉到3 tokens/s，12分钟耗电23%。30B上手机
阅读全文
前沿研究
端侧AI模型续航测试：3B参数跑在手机上，一天几充
2026年7月实测显示，端侧3B模型日均待机耗电约1.5%-2%，重度Agent调用下续航减半。量化、剪枝等轻量化方案虽降低峰值功耗，但需配合NPU调度优化才能解决发热焦虑。本文拆解vivo蓝心、小米澎湃等主流模型的功耗
阅读全文
前沿研究
Arm v10 架构在端侧AI的实测：手机运行 10B 模型还发烫吗
2026年7月实测表明，手机运行10B参数模型已从「不能跑」跨到「可以跑」，但发烫问题并未消失。得益于NPU调度、稀疏激活与指令集优化，持续推理功耗降至4.8W，温度约45℃；但Agent场景连续调用仍会堆积热量。文章引
阅读全文
前沿研究
iPhone 18押注2nm，端侧AI换机潮为何迟到
7月15日，Apple智能等7款手机端侧生成式AI服务完成备案，iPhone 18 Pro的2nm芯片也备受关注。但现有素材不足以证明预售遇冷。端侧AI仍受跨应用协同、续航和发热约束，短期内很难单独缩短换机周期。
阅读全文
前沿研究
端侧模型轻量化，正在从压参数转向省计算
手机能装下模型，不等于能长期跑好。苹果约200亿参数的AFM 3 Core Advanced选择稀疏激活，Gemini Nano沿用知识蒸馏。端侧轻量化的重点，正转向按需计算、能力压缩和分层精度。
阅读全文2026下半年AI手机战，端侧大模型先过续航关
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中，FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻，峰值 TOPS 还说明不了续航；原生加速、端云分工和散热更值得看。
阅读全文Sora把视频拉到60秒，端侧要学会不重算每一帧
Sora把文生视频样片推到60秒，也把算力成本摆到台前。手机和AR眼镜若要做到实时生成，不能照搬云端模型，得靠关键帧复用、量化、局部渲染和更短的数据路径，把延迟、内存与发热逐项算清。
阅读全文
开发者生态
手机跑7B和12B模型，INT4还是FP8更合适
这组2026年7月测试把Llama 3.2 7B和Mistral Small 12B放到骁龙8 Gen5参考设计机与A19设备上，连续生成512 tokens。INT4最省内存、温度最低；FP8在A19上速度接近INT4
阅读全文
技术应用
端侧 7B 模型让手机发烫退掉单：功耗墙怎么破
手机烫得拿不住、推理超时退单，7B 模型塞进旗舰机后的真实翻车案例。本文拆解骁龙 8 Gen 4 机型的运行日志，分析功耗墙成因，给出推理框架量化、KV 缓存剪枝、动态频率调度等优化方案，并引用 vivo 蓝心部署、头豹
阅读全文
前沿研究
Arm加码移动AI，端侧部署别再只盯TOPS
Arm官方把移动AI放在CPU、CSS和IP协同的整套平台中。现有素材不足以证明“能效提升40%”；手机端模型能否跑稳，主要看量化格式、内存占用、算子回退和持续功耗。
阅读全文
技术应用
7B—14B模型上手机，功耗不能只看100 TOPS
天玑9500已有100 TOPS等发布规格，骁龙8 Elite Gen5的同类数据来自发布前瞻，A19 Pro则缺少可直接对照的官方指标。现有素材没有统一模型、机型和环境下的功耗温度数据，能比较的是测试边界，不是“谁最凉
阅读全文