2026 轻薄本实测：10B 模型量化到哪一档最合适
同一款基于 Llama 3 架构的 10B dense 模型，分别以 FP16、INT8、INT4 和 2-bit 运行在骁龙 X Elite 与 Lunar Lake 轻薄本上。INT4 响应最顺，INT8 更适合精确
阅读全文
Search
站内搜索
关键词：端侧部署
找到 26 篇相关文章
AI 工具箱
Rust 接管端侧调度，先看清 TensorRT-LLM 的边界
端侧 LLM 会为几毫秒反复抠性能，但瓶颈未必来自 Python。真正该查的是调用次数、同步、内存搬运和硬件后端。Rust 适合收紧关键路径；TensorRT-LLM 只能用于其支持的平台，不能被泛化成手机 NPU 的统
阅读全文
产业动态
算力泡沫破裂后，2026年夏季 AI 创业公司转向“轻量化”生存模式
2026年Q2，AI融资逻辑发生根本逆转，资本从参数军备赛转向效率与落地。本文通过模型蒸馏、端侧部署和算子调优等轻量化技术案例，揭示算力成本高企下创业公司如何构建商业闭环，包括银行反欺诈、端侧推理、国产芯片等实战。
阅读全文
前沿研究
手机能跑32B，但端侧推理更需要通专融合
一组实测里，24GB 内存的骁龙 8 Gen 5 手机运行 INT4 量化 32B 模型，十分钟后从每秒 8 token 降到 3 token。端侧部署该比的，不只是参数量，而是底座常驻、插件路由、内存搬运和芯片适配能否
阅读全文3B模型在端侧能跑多少个Agent？实测不同量化方案的推理损耗
针对2026年主流的3B级端侧模型（如商汤Sage、vivo蓝心3B），实测在Arm v10架构设备上运行3-5个垂直Agent时的内存占用与延迟。对比INT4与FP8量化方案，分析在多Agent协作场景下的精度掉点与资
阅读全文
AI 实操指南
RISC-V开发板跑通7B模型：4.4 token/s怎么来的
玄铁 C950-AI 上的 Llama-3.2 7B 经 Q4_K_M 量化后约 3.8GB，MNN 实测生成速度 4.4 token/s、平均功耗 10.5W。长文本会被 KV Cache 拖慢，持续运行还会遇到 85
阅读全文
开发者生态
手机跑7B和12B模型，INT4还是FP8更合适
这组2026年7月测试把Llama 3.2 7B和Mistral Small 12B放到骁龙8 Gen5参考设计机与A19设备上，连续生成512 tokens。INT4最省内存、温度最低；FP8在A19上速度接近INT4
阅读全文
前沿研究
RISC-V边缘AI芯片实测：功耗压到1W还能跑多大模型
把主流轻量模型丢进最新的RISC-V开发板，贴着1W功耗天花板跑实测。本文给出具体帧率、能效比和崩溃点，并对比ARM方案，给物联网开发者一份能用的选型参考。
阅读全文
深度观察
2026年AI实习岗位暴增，但简历里没这两项技能基本没戏
2026年AI相关岗位同比增长14倍，实习生月薪可达6万，但企业HR透露：简历通过率骤降。真正拉开差距的不是学历和顶会论文，而是两项实操技能——端侧部署经验和Agent调试日志的阅读能力。本文结合大厂面试官、技术负责人的
阅读全文
前沿研究
Arm加码移动AI，端侧部署别再只盯TOPS
Arm官方把移动AI放在CPU、CSS和IP协同的整套平台中。现有素材不足以证明“能效提升40%”；手机端模型能否跑稳，主要看量化格式、内存占用、算子回退和持续功耗。
阅读全文
前沿研究
从蒸馏到结构化剪枝，2026年模型压缩怎么选
模型文件变小，不等于端侧推理更快。量化压低位宽，蒸馏训练更小的学生模型，结构化剪枝直接改变网络形状。面向2026年的部署，算子支持、内存访问和持续功耗比单看压缩率更有参考价值。
阅读全文Android端侧大模型落地：先管住内存、NPU和温度
把大模型装进Android App，跑通只是起点。真正影响体验的是模型加载、内存复用、NPU回退和持续发热。围绕这些工程问题，梳理一套更稳妥的端侧部署思路。
阅读全文