搜索: 10B模型

2026-07-21 10:45:07 0 阅读

针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。

2026-07-17 06:06:21 0 阅读

Arm v10工程样片测试中，SME2让Llama-3-3B 4-bit版Prefill速度较v9提升3.2倍，首字延迟由约1.2秒降至400毫秒以内；Decoding加速约1.4倍，10B模型持续运行仍受发热和功耗约束

2026-07-17 03:09:54 0 阅读

2026年7月实测表明，手机运行10B参数模型已从「不能跑」跨到「可以跑」，但发烫问题并未消失。得益于NPU调度、稀疏激活与指令集优化，持续推理功耗降至4.8W，温度约45℃；但Agent场景连续调用仍会堆积热量。文章引

站内搜索