搜索: 推理速度

2026-07-22 13:07:44 0 阅读

基于 2026 年主流旗舰机型（骁龙 8 Elite、天玑 9400、A18 Pro）的连续跑测数据，对比 Qwen2.5-3B、Llama-3.2-3B 与 Gemma-3-3B 在 4-bit 与 6-bit 量化下

2026-07-22 09:22:30 0 阅读

同一款基于 Llama 3 架构的 10B dense 模型，分别以 FP16、INT8、INT4 和 2-bit 运行在骁龙 X Elite 与 Lunar Lake 轻薄本上。INT4 响应最顺，INT8 更适合精确

2026-07-19 13:36:56 0 阅读

在 35℃ 恒温箱环境下，iPhone 16 Pro Max、Galaxy S25 Ultra 和小米 15 Pro 持续推理 20 分钟后，Token 生成速度分别跌至初始值的 58%、50% 和 72%。本文量化分析

2026-07-15 06:26:16 0 阅读

MoE 模型的万亿参数竞赛并未带来推理端的红利，反而因专家权重全量驻留引发的显存碎片化和访存瓶颈，让推理延迟居高不下。本文拆解 Llama-4 类架构下的调度难题，并结合昇腾等厂商的最新无损优化方案，探讨从算子调度到底层

2026-07-12 17:22:48 0 阅读

端侧 Agent 的耗电不只看推理速度，还要看任务切换时 CPU 被叫醒多少次。Arm 用 CPU、GPU、NPU 分工处理不同负载；“周易”X3 公布的最低 0.5% CPU 负载，指向的是调度开销，不是整机功耗。

2026-07-11 06:05:23 0 阅读

荣耀用低bit量化缩小模型、提高推理速度，Nexa AI则试图降低跨芯片部署成本。端侧AI能否真正进入手机日常，还要看相册搜索、输入法和离线翻译是否够快、够稳，也不能太耗电。

2026-06-26 19:02:17 0 阅读

我们实测了Qwen3-3B、Phi-4-mini、Gemma-3等主流小模型在5款2026年主流安卓/iOS设备上的表现，覆盖推理速度、功耗、发热和多任务影响。测试发现，在特定任务上，3B模型已能提供媲美云端大模型的流畅

站内搜索