站内搜索

旧手机跑端侧大模型，量化和调度怎么选

把 Qwen2.5-3B-Instruct 或 Llama-3.1-8B 放进 iPhone 13、Redmi Note 12 Pro+，卡点通常落在内存、算子支持和持续发热。旧设备可先用 INT8 建立基线，再按内存压