搜索: 混合精度

2026-07-21 10:45:07 0 阅读

针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。

2026-07-18 15:16:11 0 阅读

针对国产算力集群部署中的显存瓶颈，本文实测了FP8、INT4及混合精度三种轻量化量化方案在昇腾910D上的显存节省效果与实际精度损失，并提供了一套可复用的调优Checklist，助力大模型无损落地。

2026-07-18 04:06:21 0 阅读

把 PyTorch 项目从 CUDA 搬到昇腾，先处理设备、HCCL 和混合精度，再用 CANN 8 Profiling 查看算子、通信、内存与下发延迟。代码能启动只是入口，自定义算子和版本对齐更容易拖慢进度。

2026-07-13 00:12:15 0 阅读

苹果把省电做进约200亿参数的稀疏模型，高通则用混合精度降低推理能耗，并称骁龙8 Gen 4端侧大模型功耗下降40%。两套方案暂时缺少统一实测，38TOPS也不能代替持续运行时的温度、降频和适配成本。

2026-07-12 19:07:35 0 阅读

基于2026年6月千颗昇腾910C完成1.6万亿参数DeepSeek-V4-Pro训练的实测数据，分析FP8/FP16混合精度下的MFU和吞吐率，对比A100/H100的性价比，揭示国产算力的工程极限与选型真相。

2026-07-08 18:35:31 0 阅读

骁龙8 Gen5让14B模型端侧运行成为现实，但内存溢出与持续降频仍是痛点。本文结合2026年6月落地的混合精度量化与稀疏激活技术，深入解析编译器指令集优化、动态批处理及内存池化策略，提供从算子级加载到功耗控制的代码级优

2026-07-08 12:31:59 0 阅读

骁龙8 Gen5实测跑14B模型发热严重，但6月落地的混合精度量化与稀疏激活技术，已把内存压到5.8GB、推理功耗控在3.2W。两条算法路径叠加后，中端机本地跑大模型不再是噱头，只是加载那5秒的等待仍是工程上的最后一公里

2026-07-05 03:13:43 0 阅读

2026年7月，随着Llama 6和Qwen 3等开源模型的不断迭代，混合精度训练成为提高训练效率的关键。了解FP8/BF16混合精度在消费级显卡上的应用，能够让开发者在有限算力条件下，实现更高效的模型微调。

2026-07-05 02:50:46 0 阅读

算力下放不等于成本无忧。2026年下半年，面对B300的高昂能耗与采购门槛，中小企业应摒弃“全量微调”的执念，转向以RAG为核心的架构。通过FP8混合精度、INT量化与混合检索技术，在有限预算下实现高准确率的企业内部知识

站内搜索