国产端侧大模型下半场：谁在卷首 token 延迟
2026年端侧AI已从跑分转向体感优化。本文通过拆解3B-7B模型的首token延迟（TTFT），分析内存带宽瓶颈与KV Cache压缩技术，探讨硬件厂商如何通过架构升级解决AI手机卡顿，揭示端侧推理的真实性能分水岭。
阅读全文
Search
站内搜索
关键词：7B模型
找到 14 篇相关文章
7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文
AI 实操指南
RISC-V开发板跑通7B模型：4.4 token/s怎么来的
玄铁 C950-AI 上的 Llama-3.2 7B 经 Q4_K_M 量化后约 3.8GB，MNN 实测生成速度 4.4 token/s、平均功耗 10.5W。长文本会被 KV Cache 拖慢，持续运行还会遇到 85
阅读全文
技术应用
端侧 7B 模型让手机发烫退掉单：功耗墙怎么破
手机烫得拿不住、推理超时退单，7B 模型塞进旗舰机后的真实翻车案例。本文拆解骁龙 8 Gen 4 机型的运行日志，分析功耗墙成因，给出推理框架量化、KV 缓存剪枝、动态频率调度等优化方案，并引用 vivo 蓝心部署、头豹
阅读全文
技术应用
7B模型上车，CT-X1和骁龙8295不能只看算力
CT-X1用3nm制程、400 TOPS算力和130亿参数模型支持能力抬高了硬件上限，但公开资料尚无统一条件下的7B模型对测。与骁龙8295相比，真正影响上车体验的还有内存、散热、任务调度和量产适配。
阅读全文
前沿研究
端侧7B大模型跑通后，手机厂商不敢说的内存与发热账单
2026年夏天，7B大模型在旗舰机上跑通已成常态，但内存占用和发热问题远比宣传复杂。实测三款旗舰机在连续对话下的内存与掉电数据，拆解手机厂商为了保住轻薄设计，在NPU调度策略上做的妥协。端侧AI的真实代价，才刚刚浮出水面
阅读全文
前沿研究
7B模型进手机，联发科和高通还差哪一步
Arm正推动移动AI从单点算力竞争转向整套计算栈协同。对联发科和高通来说，7B模型能否进入手机，关键还要看内存占用、软硬件适配和系统调度，现有公开材料尚不足以判断谁会率先落地。
阅读全文
前沿研究
Arm加速端侧AI，手机推理延迟仍缺一个可靠数字
Arm正把SME2扩展到更多CPU平台，并强调内存、功耗和持续运行能力。但现有公开素材没有给出7B模型首Token延迟，也不足以证明手机端已达到150—300毫秒。
阅读全文
技术应用
38位用户半年实测：骁龙8 Gen 5与天玑9500的AI表现
发布七个月后，38位用户实测数据揭晓：天玑9500在7B模型能效领先15%，但13B模型降频严重；骁龙8 Gen 5生态更成熟，AI Agent完成率达82% vs 64%。端侧AI选芯要看7B还是13B、轻AI还是重A
阅读全文A100跑大模型：Candle比PyTorch省了23%显存
一张A100 GPU，一个Llama 2 7B模型，1000次推理后得到一组数据：Candle延迟40ms，PyTorch 63ms；吞吐25比15.9 req/s；显存14.2GB比18.5GB。为什么差这么多？我们拆
阅读全文三款旗舰芯片跑7B大模型，谁最省电？实测数据来了
我们用同一套7B模型（Qwen3-7B量化版），在骁龙8 Gen4、天玑9400、麒麟9100三款旗舰机上测了连续对话的功耗、温度和速度。结果挺意外：麒麟最快但最费电，天玑最省电，骁龙比较均衡。下面直接上数据。
阅读全文