端侧大模型功耗墙：手机厂商如何解决70B模型的发热难题
iPhone 19跑70B模型1.2秒响应却因过热降频，揭示了端侧AI从‘能跑’到‘好用’的巨大鸿沟。本文拆解2026年手机厂商如何通过异构计算、动态量化与新型散热材料，在NPU算力与续航之间寻找平衡点。
阅读全文
Search
站内搜索
关键词：量化
找到 118 篇相关文章
M5芯片入局：iPhone 19的端侧AI，真的能省掉云端吗
Apple M5芯片NPU算力预计达100-200 TOPS，配合LPDDR6X内存，使70B参数模型在iPhone 19上的首字延迟降至1.2秒。虽然散热仍限制持续高负载，但苹果通过动态量化实现“端云协同”。这不仅关乎
阅读全文端侧模型省电了，但App开发者为什么还在抗拒接入NPU？
2026年端侧推理能效比已大幅提升，但开发者仍面临算子适配碎片化、量化精度丢失及内存带宽瓶颈。本文通过架构师访谈，揭示NPU落地背后的工程困境与真实成本。
阅读全文半年端侧实测下来，NPU的能效比到底卡在哪
跑了半年端侧模型，三星S26 Ultra通话翻译22分钟续航不崩，MacBook M5跑13B模型键盘飙到46℃。结论不浪漫：手机AI的瓶颈不在TOPS，而在内存带宽和散热。量化能救一半，手表那1W功耗墙基本无解。
阅读全文深圳一家视频公司弃用 A100，国产推理卡到底能不能打？
一家深圳视频创业公司决定不再买二手 A100，单用户推理成本因此降了六成。2026 年 6 月，我们实测了两款国产主流推理加速卡，用 Llama-3.1 和国内自研 7B 模型跑了一遍，记录下吞吐量、显存占用、算子适配和
阅读全文3B模型打赢70B的秘密：小模型在手机端的真实表现
我们实测了Qwen3-3B、Phi-4-mini、Gemma-3等主流小模型在5款2026年主流安卓/iOS设备上的表现，覆盖推理速度、功耗、发热和多任务影响。测试发现，在特定任务上，3B模型已能提供媲美云端大模型的流畅
阅读全文3B模型打败70B，靠的是什么
2026年，VibeThinker-3B模型在基准测试上逼近甚至超越70B大模型，引发行业关注。文章聚焦小模型在端侧推理中的现实路径，对比蒸馏、量化、SFT和GRPO等技术，并探讨企业如何在成本、性能和特定场景间找到平衡
阅读全文AI投资退潮后，能算清账的公司拿到了钱
2026年，当通用大模型投资降温，法律、供应链和工业质检领域的几家AI公司却完成了新融资。它们不再卖技术参数，而是把定价绑定在合同审查速度、库存周转率和质检误判率这些可量化的客户成功指标上，并采用收益分成模式。
阅读全文实测：在8GB手机上跑7B大模型，后台应用直接被清空
我们用搭载骁龙8 Gen 4和A18 Pro的旗舰机，实测了本地运行7B-13B参数模型时的内存占用、发热和电池影响。iOS 18的“智能压缩”和Android 15的“动态优先级调度”各有侧重，但8GB内存机型运行13
阅读全文三款旗舰芯片跑7B大模型，谁最省电？实测数据来了
我们用同一套7B模型（Qwen3-7B量化版），在骁龙8 Gen4、天玑9400、麒麟9100三款旗舰机上测了连续对话的功耗、温度和速度。结果挺意外：麒麟最快但最费电，天玑最省电，骁龙比较均衡。下面直接上数据。
阅读全文900元开发板跑7B模型：端侧AI部署实测与优化指南
基于一块900元的RK3588S开发板，我们对Qwen2.5-7B和Llama 3 8B模型进行了全流程部署测试。通过量化选型、算子优化等手段，最终在8GB内存的设备上实现了18.5 tokens/s的对话生成速度，验证
阅读全文把3B模型塞进树莓派5：延迟、内存和功耗，我们实测了一遍
一个1.5B的蒸馏模型，在骁龙8 Gen 3手机上推理128个token需要150毫秒，在树莓派5上处理256个token则要1.2秒。我们用VibeThinker-3B等模型，在安卓手机和树莓派上对比了ONNX Run
阅读全文