前沿研究
手机能跑32B，但端侧推理更需要通专融合
一组实测里，24GB 内存的骁龙 8 Gen 5 手机运行 INT4 量化 32B 模型，十分钟后从每秒 8 token 降到 3 token。端侧部署该比的，不只是参数量，而是底座常驻、插件路由、内存搬运和芯片适配能否
阅读全文
Search
站内搜索
关键词：量化
找到 118 篇相关文章
前沿研究
手机多模态推理压到200毫秒，先拆内存墙
拍照提问时，2秒等待足以打断操作，200毫秒才接近即时反馈。3B级模型要缩短首字延迟，得同时减少权重、视觉Token与KV Cache搬运，并让量化方案真正匹配Arm指令和手机NPU。
阅读全文
前沿研究
R1开源后，手机跑30B模型先撞上散热墙
24GB内存的骁龙8 Gen 5旗舰机，已经能本地运行INT4量化的Qwen-32B：首字2.1秒，起步约8 tokens/s。持续推理后，机身升至46°C、速度掉到3 tokens/s，12分钟耗电23%。30B上手机
阅读全文3B模型在端侧能跑多少个Agent？实测不同量化方案的推理损耗
针对2026年主流的3B级端侧模型（如商汤Sage、vivo蓝心3B），实测在Arm v10架构设备上运行3-5个垂直Agent时的内存占用与延迟。对比INT4与FP8量化方案，分析在多Agent协作场景下的精度掉点与资
阅读全文
前沿研究
端侧AI模型续航测试：3B参数跑在手机上，一天几充
2026年7月实测显示，端侧3B模型日均待机耗电约1.5%-2%，重度Agent调用下续航减半。量化、剪枝等轻量化方案虽降低峰值功耗，但需配合NPU调度优化才能解决发热焦虑。本文拆解vivo蓝心、小米澎湃等主流模型的功耗
阅读全文
前沿研究
工业质检不只拼算力，RISC-V方案能替代哪些GPU节点
高温、粉尘、密闭机箱和连续运行，会让风扇与功耗先于 TOPS 成为工业质检的瓶颈。RISC-V 并非天然比 GPU 省电，但配合定制 NPU、RVV 和量化模型，它有机会在任务固定的边缘节点上，用够用的算力换取更简单的散
阅读全文
前沿研究
端侧模型轻量化，正在从压参数转向省计算
手机能装下模型，不等于能长期跑好。苹果约200亿参数的AFM 3 Core Advanced选择稀疏激活，Gemini Nano沿用知识蒸馏。端侧轻量化的重点，正转向按需计算、能力压缩和分层精度。
阅读全文2026下半年AI手机战，端侧大模型先过续航关
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中，FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻，峰值 TOPS 还说明不了续航；原生加速、端云分工和散热更值得看。
阅读全文
AI 实操指南
RISC-V开发板跑通7B模型：4.4 token/s怎么来的
玄铁 C950-AI 上的 Llama-3.2 7B 经 Q4_K_M 量化后约 3.8GB，MNN 实测生成速度 4.4 token/s、平均功耗 10.5W。长文本会被 KV Cache 拖慢，持续运行还会遇到 85
阅读全文Sora把视频拉到60秒，端侧要学会不重算每一帧
Sora把文生视频样片推到60秒，也把算力成本摆到台前。手机和AR眼镜若要做到实时生成，不能照搬云端模型，得靠关键帧复用、量化、局部渲染和更短的数据路径，把延迟、内存与发热逐项算清。
阅读全文
开发者生态
手机跑7B和12B模型，INT4还是FP8更合适
这组2026年7月测试把Llama 3.2 7B和Mistral Small 12B放到骁龙8 Gen5参考设计机与A19设备上，连续生成512 tokens。INT4最省内存、温度最低；FP8在A19上速度接近INT4
阅读全文Llama 与 Mistral 写代码，先别急着判胜负
现有资料没有给出可复现的 Llama 3.5 8B 与 Mistral Medium 12B 代码测试。比起照搬跑分，开发者更该分开检验函数生成、仓库修复和量化后的本地表现。
阅读全文