20B模型塞进2026款AI PC，先算内存再看NPU
Core Ultra 7 258V轻薄本有64GB统一内存和48 TOPS NPU，加载20B模型仍然OOM。权重只是第一笔占用，KV cache、算子回退和持续散热更容易拖慢推理。实测可行的做法，是混合INT4、压缩K
阅读全文
Search
站内搜索
关键词：INT4
找到 25 篇相关文章
8000P算力园区的账，最终要算到Token上
“8000P”不是功耗单位，PUE也不能单独推出月度电费。园区更该比较平均功耗、利用率和有效Token产出；H100、910B、昇腾910C，以及FP8、INT4等方案是否省钱，都要放进同一套实测口径。
阅读全文2026 轻薄本实测：10B 模型量化到哪一档最合适
同一款基于 Llama 3 架构的 10B dense 模型，分别以 FP16、INT8、INT4 和 2-bit 运行在骁龙 X Elite 与 Lunar Lake 轻薄本上。INT4 响应最顺，INT8 更适合精确
阅读全文
AI 实操指南
10B模型如何在单卡RTX 6000上实现毫秒级响应：量化实战
针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。
阅读全文7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文昇腾910D显存溢出怎么救？实测三种轻量化量化方案的精度损失
针对国产算力集群部署中的显存瓶颈，本文实测了FP8、INT4及混合精度三种轻量化量化方案在昇腾910D上的显存节省效果与实际精度损失，并提供了一套可复用的调优Checklist，助力大模型无损落地。
阅读全文
技术应用
端侧32B模型上车：手机散热与功耗的隐形天花板在哪？
骁龙8 Gen 5手机实测显示，INT4量化32B模型运行十分钟后，生成速度从8 token/s跌至3 token/s。本文对比RTX Spark的45—80W主动散热与手机的被动极限，剖析内存墙与NPU架构的真实瓶颈，
阅读全文
前沿研究
手机能跑32B，但端侧推理更需要通专融合
一组实测里，24GB 内存的骁龙 8 Gen 5 手机运行 INT4 量化 32B 模型，十分钟后从每秒 8 token 降到 3 token。端侧部署该比的，不只是参数量，而是底座常驻、插件路由、内存搬运和芯片适配能否
阅读全文
前沿研究
R1开源后，手机跑30B模型先撞上散热墙
24GB内存的骁龙8 Gen 5旗舰机，已经能本地运行INT4量化的Qwen-32B：首字2.1秒，起步约8 tokens/s。持续推理后，机身升至46°C、速度掉到3 tokens/s，12分钟耗电23%。30B上手机
阅读全文3B模型在端侧能跑多少个Agent？实测不同量化方案的推理损耗
针对2026年主流的3B级端侧模型（如商汤Sage、vivo蓝心3B），实测在Arm v10架构设备上运行3-5个垂直Agent时的内存占用与延迟。对比INT4与FP8量化方案，分析在多Agent协作场景下的精度掉点与资
阅读全文2026下半年AI手机战，端侧大模型先过续航关
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中，FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻，峰值 TOPS 还说明不了续航；原生加速、端云分工和散热更值得看。
阅读全文
开发者生态
手机跑7B和12B模型，INT4还是FP8更合适
这组2026年7月测试把Llama 3.2 7B和Mistral Small 12B放到骁龙8 Gen5参考设计机与A19设备上，连续生成512 tokens。INT4最省内存、温度最低；FP8在A19上速度接近INT4
阅读全文