2026 轻薄本实测：10B 模型量化到哪一档最合适
同一款基于 Llama 3 架构的 10B dense 模型，分别以 FP16、INT8、INT4 和 2-bit 运行在骁龙 X Elite 与 Lunar Lake 轻薄本上。INT4 响应最顺，INT8 更适合精确
阅读全文
Search
站内搜索
关键词：INT8
找到 11 篇相关文章
开发者生态
手机跑7B和12B模型，INT4还是FP8更合适
这组2026年7月测试把Llama 3.2 7B和Mistral Small 12B放到骁龙8 Gen5参考设计机与A19设备上，连续生成512 tokens。INT4最省内存、温度最低；FP8在A19上速度接近INT4
阅读全文
AI 实操指南
旧手机跑端侧大模型，量化和调度怎么选
把 Qwen2.5-3B-Instruct 或 Llama-3.1-8B 放进 iPhone 13、Redmi Note 12 Pro+，卡点通常落在内存、算子支持和持续发热。旧设备可先用 INT8 建立基线，再按内存压
阅读全文
前沿研究
骁龙8 Gen 5实测：端侧14B模型推理的散热瓶颈与调度优化
骁龙8 Gen 5让14B端侧大模型成为现实，但高负载引发的热节流是最大拦路虎。实测数据显示，INT4量化在维持稳定性上优于INT8。本文结合高通白皮书与最新工程实践，提供从量化选择、内存调度到动态降频的代码级优化方案，
阅读全文
前沿研究
骁龙、天玑与苹果端侧量化怎么选
端侧大模型部署不能只看INT4压得更小。芯片的NPU支持、算子回退、内存带宽、发热和系统调度，都会改变真实体验。骁龙、天玑、苹果A系列各有取舍，工程上要先确定场景，再选INT4或INT8。
阅读全文银行反欺诈迁移昇腾910D：从120毫秒延迟到18毫秒的工程实战
2025年中，某股份制银行将GNN反欺诈系统迁移至昇腾910D时遭遇严重延迟问题。通过Ascend C定制算子优化内存访问，并利用盘古大模型生成合成数据进行量化感知训练，团队历时两个月将平均延迟压至18毫秒，同时保持高精
阅读全文库克最后一届WWDC：国行AI缺席，国产端侧突围
2026年6月9日，库克主持最后一届WWDC，Apple Intelligence 2.7发布。全新Siri引入Google大脑，但受限于数据合规，国行iPhone 19仍无法使用。与此同时，百度、阿里、科大讯飞等国内厂
阅读全文苹果AI入华三周，微信读书、支付宝、抖音踩了哪些坑
iOS 19推送三周，微信读书、支付宝、抖音团队分享了适配Apple Intelligence的具体问题：微信读书限制屏幕感知防止阅读轨迹泄露；支付宝强制金融Agent手动确认以过审；抖音用双层审核和INT8降频应对内容
阅读全文MacBook实测13B模型：全精度烫手，INT8才是移动办公正解
MacBook Pro 14 M5芯片实测13B模型：全精度运行58分钟，键盘温度46℃，续航不足2小时。INT8量化后速度54 tokens/s，功耗13W，续航2小时1分，能流畅跑本地智能体工作流。量化是关键。
阅读全文iPhone 19 运行 70B 模型实测：发热与延迟的妥协
实测显示，搭载 M5 芯片的 iPhone 19 在运行 70B 模型时，首字生成需 1.2 秒。但连续高负载 10 分钟后，因温度触及 65℃ 触发 NPU 降频，延迟飙升至 5 秒以上。Apple Intellige
阅读全文半年端侧实测下来，NPU的能效比到底卡在哪
跑了半年端侧模型，三星S26 Ultra通话翻译22分钟续航不崩，MacBook M5跑13B模型键盘飙到46℃。结论不浪漫：手机AI的瓶颈不在TOPS，而在内存带宽和散热。量化能救一半，手表那1W功耗墙基本无解。
阅读全文