国产端侧大模型下半场：谁在卷首 token 延迟
2026年端侧AI已从跑分转向体感优化。本文通过拆解3B-7B模型的首token延迟（TTFT），分析内存带宽瓶颈与KV Cache压缩技术，探讨硬件厂商如何通过架构升级解决AI手机卡顿，揭示端侧推理的真实性能分水岭。
阅读全文
Search
站内搜索
关键词：端侧大模型
找到 72 篇相关文章
产业动态
Arm新能源架构发布：端侧Agent跑50亿参数不掉电的底气
针对2026年端侧Agent的能效瓶颈，本文拆解Arm最新AGI CPU与新能源架构如何通过内存带宽优化与微架构升级，支撑50亿参数模型在手机端实现低功耗常驻，并为开发者分析下半年端侧模型的容量上限。
阅读全文
技术应用
7B还是14B？端侧大模型选型先看功耗与散热
7B更容易在手机上落地，14B也不等于体验一定更好。面对骁龙8 Elite和天玑9400，选型要同时看内存占用、首字延迟、持续生成速度、整机功耗和降频情况。现有素材没有统一实测数据，因此不虚构芯片胜负，只给出可复现的比较
阅读全文
技术应用
端侧 AI 手机散热实测：高温降频对推理速度的真实影响评估
在 35℃ 恒温箱环境下，iPhone 16 Pro Max、Galaxy S25 Ultra 和小米 15 Pro 持续推理 20 分钟后，Token 生成速度分别跌至初始值的 58%、50% 和 72%。本文量化分析
阅读全文
前沿研究
端侧AI手机降温危机：散热模组升级能否留住大模型体验？
7月15日7款手机端侧大模型备案通过，AI手机加速落地，但发热抱怨同步爆发。本文直指散热堆料已近物理极限，胜负手转向芯片调度策略，结合最新评测数据与硬件工程师观点，拆解'跑得快不如跑得稳'的逻辑，并预测主动散热、模型硬件
阅读全文2026下半年端侧大模型评测：谁在真省电，谁在背刺续航
2026年旗舰手机端侧AI体验的差距已从跑分转向能效。本文对比苹果A19、骁龙8 Gen 4与天玑9400在运行3B-7B量化模型时的功耗、发热与延迟，通过架构与实测案例揭示谁的NPU真正兼顾续航，并附一套可复现的功耗测
阅读全文7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文
AI 工具箱
20B、1T都不等于快：端侧AI手机该怎么测
苹果的AFM 3 Core Advanced约200亿参数，小米MiMo-V2 Pro总参数超1万亿、激活420亿，Pixel 10则让Gemini Nano常驻端侧。数字越来越大，但公开资料仍不足以做统一跑分。选设备，
阅读全文
前沿研究
端侧AI模型续航测试：3B参数跑在手机上，一天几充
2026年7月实测显示，端侧3B模型日均待机耗电约1.5%-2%，重度Agent调用下续航减半。量化、剪枝等轻量化方案虽降低峰值功耗，但需配合NPU调度优化才能解决发热焦虑。本文拆解vivo蓝心、小米澎湃等主流模型的功耗
阅读全文
前沿研究
端侧模型轻量化，正在从压参数转向省计算
手机能装下模型，不等于能长期跑好。苹果约200亿参数的AFM 3 Core Advanced选择稀疏激活，Gemini Nano沿用知识蒸馏。端侧轻量化的重点，正转向按需计算、能力压缩和分层精度。
阅读全文2026下半年AI手机战，端侧大模型先过续航关
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中，FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻，峰值 TOPS 还说明不了续航；原生加速、端云分工和散热更值得看。
阅读全文
前沿研究
Arm高管谈端侧AI：2026年移动芯片的推理带宽瓶颈不只在TOPS
2026年端侧大模型进入规模化落地期，Arm高管指出移动芯片的真正瓶颈并非TOPS堆叠，而是总线与内存带宽。苹果AFM 3用稀疏架构规避访存，行业从拼算力转向拼架构命中率。
阅读全文