20B模型塞进2026款AI PC，先算内存再看NPU
Core Ultra 7 258V轻薄本有64GB统一内存和48 TOPS NPU，加载20B模型仍然OOM。权重只是第一笔占用，KV cache、算子回退和持续散热更容易拖慢推理。实测可行的做法，是混合INT4、压缩K
阅读全文
Search
站内搜索
关键词：端侧AI
找到 151 篇相关文章
开发者生态
2026 手机端侧 3B 模型实测：内存压力与推理速度的真实平衡点
基于 2026 年主流旗舰机型（骁龙 8 Elite、天玑 9400、A18 Pro）的连续跑测数据，对比 Qwen2.5-3B、Llama-3.2-3B 与 Gemma-3-3B 在 4-bit 与 6-bit 量化下
阅读全文
产业动态
Arm的2026判断：手机端侧AI不能只靠压缩模型
Arm把2026年芯片创新的注意力从单纯缩小晶体管，移到3D堆叠与Chiplet。苹果AFM 3则用稀疏架构控制每次推理的计算量。手机要减少云端依赖，靠的不是单独堆NPU，而是让模型、框架、芯片和具体功能对得上。
阅读全文百亿参数模型进手机，先改变这几种日常交互
安谋科技在2024年提出，100亿参数级大模型已成为现有终端设备的最佳匹配规格。模型进手机后，用户先感受到的是弱网下仍可处理部分任务、敏感数据少上传和响应更直接；内存、功耗与模型更新，则决定它仍需云端配合。
阅读全文3B模型的端侧“慢思考”，关键不只在思维链
3B—7B小模型想在手机上多想一步，需要任务路由、短步骤推理、检索、校验和云端兜底共同工作。Qwen3与vivo、面壁智能的公开信息，把端侧问题从“能不能跑”推进到“能不能稳定完成任务”。
阅读全文国产端侧大模型下半场：谁在卷首 token 延迟
2026年端侧AI已从跑分转向体感优化。本文通过拆解3B-7B模型的首token延迟（TTFT），分析内存带宽瓶颈与KV Cache压缩技术，探讨硬件厂商如何通过架构升级解决AI手机卡顿，揭示端侧推理的真实性能分水岭。
阅读全文
产业动态
Arm新能源架构发布：端侧Agent跑50亿参数不掉电的底气
针对2026年端侧Agent的能效瓶颈，本文拆解Arm最新AGI CPU与新能源架构如何通过内存带宽优化与微架构升级，支撑50亿参数模型在手机端实现低功耗常驻，并为开发者分析下半年端侧模型的容量上限。
阅读全文Arm看向2026：端侧AI能效拐点不只靠制程
Arm在20项技术预测中把2026视为智能计算转向分布式架构的重要节点。所谓能效拐点，并非某项指标突然越线，而是3D堆叠、芯粒集成与端云协同开始共同改变芯片设计。
阅读全文3B模型能省多少云端成本，先把这笔账算对
2026年，推理需求增长和算力租赁涨价把企业重新推向端侧。3B级模型适合处理纠错、分类和请求路由，把复杂任务留给云端。它能省多少，取决于本地完成率、云端重试、设备功耗和维护成本，不能只凭参数量估出固定降幅。
阅读全文
前沿研究
3B模型跑强化学习：为什么端侧慢思考比无脑堆参数更省电
分析2026年夏季端侧AI面临的算力与散热双重挑战，探讨如何利用GRPO算法与轻量级MCTS，让3B小模型通过“慢思考”机制在本地离线实现复杂逻辑推理，并深度量化其能效比。成本账表明：慢思考的3B模型相比于大参数直接输出
阅读全文
前沿研究
万亿模型继续变大，企业却在重算3B的账
Kimi K3把开源模型推到2.8万亿参数，企业部署端却在问：哪些请求真的需要旗舰模型？3B小模型的价值不在全面平替，而在任务清楚、调用频繁且有兜底的场景里，控制时延和持续成本。
阅读全文
技术应用
端侧 AI 手机散热实测：高温降频对推理速度的真实影响评估
在 35℃ 恒温箱环境下，iPhone 16 Pro Max、Galaxy S25 Ultra 和小米 15 Pro 持续推理 20 分钟后，Token 生成速度分别跌至初始值的 58%、50% 和 72%。本文量化分析
阅读全文