国产端侧大模型下半场：谁在卷首 token 延迟
2026年端侧AI已从跑分转向体感优化。本文通过拆解3B-7B模型的首token延迟（TTFT），分析内存带宽瓶颈与KV Cache压缩技术，探讨硬件厂商如何通过架构升级解决AI手机卡顿，揭示端侧推理的真实性能分水岭。
阅读全文
Search
站内搜索
关键词：内存带宽
找到 21 篇相关文章
MoE架构下放边缘设备，内存墙还在怎么破
MoE架构通过稀疏激活降低了计算量，但其庞大的参数体量在端侧设备上触发了严重的内存带宽瓶颈。本文分析MoE在手机端的“存储墙”困境，并提供KV Cache量化与专家路由控制的实操方案，帮助开发者在有限显存下跑通模型推理。
阅读全文
产业动态
Arm新能源架构发布：端侧Agent跑50亿参数不掉电的底气
针对2026年端侧Agent的能效瓶颈，本文拆解Arm最新AGI CPU与新能源架构如何通过内存带宽优化与微架构升级，支撑50亿参数模型在手机端实现低功耗常驻，并为开发者分析下半年端侧模型的容量上限。
阅读全文
产业动态
RTX Spark亮出45—80W，Arm AI PC还卡在哪
RTX Spark给出20核Arm CPU、6144个CUDA核心、128GB统一内存和45—80W功耗，N1、N1X也在推进。规格表更漂亮了，但智能体常驻之后，CPU调度、内存带宽和持续散热仍会决定AI PC的续航与响
阅读全文
前沿研究
Arm高管谈端侧AI：2026年移动芯片的推理带宽瓶颈不只在TOPS
2026年端侧大模型进入规模化落地期，Arm高管指出移动芯片的真正瓶颈并非TOPS堆叠，而是总线与内存带宽。苹果AFM 3用稀疏架构规避访存，行业从拼算力转向拼架构命中率。
阅读全文
前沿研究
Arm 更新移动 AI IP 后，手机厂开始重算端侧模型能跑多大
Arm 在 2026 年 6 月更新移动 AI 架构路线图后，旗舰手机端侧大模型的参数竞赛被按下暂停键。厂商宣传的“百亿参数端侧运行”在功耗墙、内存带宽和实际可用容量面前，需要重新算账。本文拆解 2026 年下半年旗舰
阅读全文
前沿研究
放进推荐系统，昇腾910C和H200差在哪
公开参数显示，昇腾910C与H200在算力和内存带宽上仍有差距。对推荐系统而言，更关键的问题是稀疏计算、跨卡通信和软件适配。现有资料不足以支持具体延迟结论，但可以划出迁移的现实边界。
阅读全文
产业动态
Arm把端侧AI芯片的焦点拉回内存与系统设计
端侧大模型进入手机和PC后，芯片性能已不能只看TOPS。Arm推出Lumex CSS并引入SME2，试图从CPU、GPU、系统IP和数据搬运入手，缓解算力、内存与功耗之间的牵制。
阅读全文
产业动态
Arm自研芯片动刀手机端侧：安卓厂商的护城河还剩什么
Arm CEO Rene Haas预测自研CPU芯片业务市场空间将达1000亿美元。当上游指令集授权方亲自下场造芯，手机厂商不仅面临供应链重构，更被迫重写端侧AI调度框架。本文从指令集改动切入，还原安卓底层架构师面对14
阅读全文
产业动态
Arm 自己造芯片这事，手机厂商看完更睡不着了
Arm 决定亲自下场做 AI 芯片，Meta 据传是首位客户。这条新闻表面看是云端战场，背后真正让手机厂商焦虑的是端侧 14B 模型部署的瓶颈——热密度和内存带宽。Arm CSS 平台和高通、联发科、苹果的路线对比，IP
阅读全文
前沿研究
47℃的摄像头和一套没人用的SDK
骁龙8 Gen5把14B模型跑顺了，功耗压到5.8W，但摄像头被烤到47.2℃。苹果传用2nm，谷歌押TPU，真正卡脖子的不是跑分，是散热、内存带宽和一套至今没人能用的跨平台SDK。端侧AI从能跑到能用，中间还隔着三个没
阅读全文
产业动态
昇腾910C对上B200，账要按集群算
B200有8TB/s内存带宽、GB200组合和800Gb/s网络平台优势；昇腾910C更依赖超节点、本土交付和软件优化。企业选型不能只看单卡参数，还要把迁移、调优和运维成本算进去。
阅读全文