前沿研究
端侧模型功耗红线再收紧，14B参数如何塞进中端机
骁龙8 Gen5实测跑14B模型发热严重，但6月落地的混合精度量化与稀疏激活技术，已把内存压到5.8GB、推理功耗控在3.2W。两条算法路径叠加后，中端机本地跑大模型不再是噱头，只是加载那5秒的等待仍是工程上的最后一公里
阅读全文
Search
站内搜索
关键词：稀疏化
找到 3 篇相关文章
前沿研究
前沿研究
DeepSeek-R3之后，3B端侧小模型如何在一块手表上跑得飞快？
DeepSeek-R3等推理模型确立云端智能标杆后，3B参数小模型正借助TinyML、稀疏化和INT4量化技术，下沉至智能手表等低功耗设备。本文拆解端侧推理如何实现健康监测与隐私保护的双重跃迁，并探讨其对企业FinOps
阅读全文大模型推理效率‘极致优化’：2026年量化、稀疏化、投机采样等技术的最新实践与效果对比
本文系统梳理2026年大模型推理优化技术栈的最新实践，深入对比量化、稀疏化、投机采样等前沿方法在vLLM、TensorRT-LLM等框架下的实际效果。基于NVIDIA H200、GB200等最新硬件，提供详细的性能评测数
阅读全文