搜索: 模型量化

2026-07-08 12:31:59 0 阅读

骁龙8 Gen5实测跑14B模型发热严重，但6月落地的混合精度量化与稀疏激活技术，已把内存压到5.8GB、推理功耗控在3.2W。两条算法路径叠加后，中端机本地跑大模型不再是噱头，只是加载那5秒的等待仍是工程上的最后一公里

2026-07-03 20:04:37 0 阅读

端侧大模型部署不能只看INT4压得更小。芯片的NPU支持、算子回退、内存带宽、发热和系统调度，都会改变真实体验。骁龙、天玑、苹果A系列各有取舍，工程上要先确定场景，再选INT4或INT8。

2026-07-03 09:54:19 0 阅读

DeepSeek-R3等推理模型确立云端智能标杆后，3B参数小模型正借助TinyML、稀疏化和INT4量化技术，下沉至智能手表等低功耗设备。本文拆解端侧推理如何实现健康监测与隐私保护的双重跃迁，并探讨其对企业FinOps

2026-07-01 17:34:21 0 阅读

GPT-5.2 Pro和Gemini 3.1 Pro的API报价让不少团队头疼，但单纯比价已经不够了。Gartner预测2030年推理成本将降90%，开发者需要盯紧TPOT和KV Cache，并在FP8与INT4量化中找

2026-06-27 20:30:47 0 阅读

iPhone 17 Pro 本地跑 70B 模型 10 分钟就烫到降频怎么办？本文实测三种非常规优化手段：动态精度切换（保持 95% 精度功耗降 25%）、iOS 20 智能内存交换（省带宽 20%）、以及用 1x1 卷

2026-06-25 23:05:42 1 阅读

我们用搭载骁龙8 Gen 4和A18 Pro的旗舰机，实测了本地运行7B-13B参数模型时的内存占用、发热和电池影响。iOS 18的“智能压缩”和Android 15的“动态优先级调度”各有侧重，但8GB内存机型运行13

站内搜索