AI 实操指南
10B模型如何在单卡RTX 6000上实现毫秒级响应：量化实战
针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。
阅读全文
Search
站内搜索
关键词：混合精度量化
找到 3 篇相关文章
AI 实操指南
端侧NPU调度优化：让14B模型在骁龙8 Gen5上流畅运行的秘诀
骁龙8 Gen5让14B模型端侧运行成为现实，但内存溢出与持续降频仍是痛点。本文结合2026年6月落地的混合精度量化与稀疏激活技术，深入解析编译器指令集优化、动态批处理及内存池化策略，提供从算子级加载到功耗控制的代码级优
阅读全文
前沿研究
端侧模型功耗红线再收紧，14B参数如何塞进中端机
骁龙8 Gen5实测跑14B模型发热严重，但6月落地的混合精度量化与稀疏激活技术，已把内存压到5.8GB、推理功耗控在3.2W。两条算法路径叠加后，中端机本地跑大模型不再是噱头，只是加载那5秒的等待仍是工程上的最后一公里
阅读全文