AI 工具箱
Arm 端侧跑 7B，三款框架实测怎么选
同跑 Qwen2.5-7B-Instruct INT4，骁龙 X Elite 上 ExecuTorch 首 token 更快，天玑 9400 上 MNN 吞吐反超，llama.cpp 胜在内存稳定。框架选择要跟芯片、任务
阅读全文
Search
站内搜索
关键词：量化
找到 118 篇相关文章
AI 工具箱
前沿研究
端侧14B成标配？骁龙8 Gen5实测下的功耗与体验真相
骁龙8 Gen5发布半年后，14B模型手机端落地遭遇散热与调度双重拷问。实测显示，INT4量化+NPU-CPU混合调度是稳态运行的关键，单纯堆砌算力无法解决热节流导致的掉帧。
阅读全文
前沿研究
14B模型上手机，先看功耗这道坎
骁龙8 Gen 5让14B端侧AI推理成为可能，但热节流让算力大打折扣。实测数据显示，INT4量化、NPU-CPU混合调度与内存预分配，比单纯堆砌NPU算力更能实现可持续运行，这才是2026年端侧AI落地的关键。
阅读全文
前沿研究
骁龙8 Gen 5实测：端侧14B模型推理的散热瓶颈与调度优化
骁龙8 Gen 5让14B端侧大模型成为现实，但高负载引发的热节流是最大拦路虎。实测数据显示，INT4量化在维持稳定性上优于INT8。本文结合高通白皮书与最新工程实践，提供从量化选择、内存调度到动态降频的代码级优化方案，
阅读全文
技术应用
开发者生态
Llama 4来了，微调框架先卡在哪
Llama 4把开源模型带进MoE架构，Scout和Maverick两个版本也把微调工具链的老问题放大了：显存、路由、量化和多模态兼容，都不能再按Dense模型的习惯处理。
阅读全文
AI 工具箱
用Llama 6微调行业知识库，显存占用比你想象的少
去年开源社区发布的LoRA-Mini框架，在RTX 5090上把Llama 6 8B微调显存压到8.3GB。但更贴近现实的是，在RTX 4090上同样可以8分钟跑完一个行业知识库微调流程。本文以法律文书问答为例，从数据预
阅读全文8000P集群运营半年：能效比优化与成本回收实录
深圳河套学院8000P昇腾集群运行半年后，PUE从1.22降至1.15，硬件故障率控制在2.1%以下，混部利用率达87%。但液冷漏液、推理抖动等隐性成本拉长了回收周期。结合电费、散热与折旧，给出3.5至5年的回收测算，为
阅读全文
前沿研究
MoE架构再进化：Gate网络动态负载均衡实测
2026年MoE模型竞争转向Gate网络设计。本文对比DeepSeek V4、Qwen 3、Mixtral 9x22B三种路由策略，通过消融实验量化动态负载均衡对训练收敛和推理延迟的影响，并给出可复现的PyTorch代码
阅读全文
AI 工具箱
B300量产交付后，中小厂如何低成本搭建私有知识库？
算力下放不等于成本无忧。2026年下半年，面对B300的高昂能耗与采购门槛，中小企业应摒弃“全量微调”的执念，转向以RAG为核心的架构。通过FP8混合精度、INT量化与混合检索技术，在有限预算下实现高准确率的企业内部知识
阅读全文
前沿研究
DeepSeek V4微调，先从Flash和数据开始
DeepSeek V4 开源后，中小团队不必一上来押注全量微调。更稳的路径是先用量化推理版验证场景，再围绕 V4-Flash、LoRA/QLoRA 和高质量行业数据做小步试验。
阅读全文
前沿研究
骁龙、天玑与苹果端侧量化怎么选
端侧大模型部署不能只看INT4压得更小。芯片的NPU支持、算子回退、内存带宽、发热和系统调度，都会改变真实体验。骁龙、天玑、苹果A系列各有取舍，工程上要先确定场景，再选INT4或INT8。
阅读全文