站内搜索

关键词：端侧量化

找到 2 篇相关文章

2026-07-11 22:59:33 0 阅读

把 Qwen2.5-3B-Instruct 或 Llama-3.1-8B 放进 iPhone 13、Redmi Note 12 Pro+，卡点通常落在内存、算子支持和持续发热。旧设备可先用 INT8 建立基线，再按内存压

2026-07-03 20:04:37 0 阅读

端侧大模型部署不能只看INT4压得更小。芯片的NPU支持、算子回退、内存带宽、发热和系统调度，都会改变真实体验。骁龙、天玑、苹果A系列各有取舍，工程上要先确定场景，再选INT4或INT8。