AI 纪元 追踪人工智能最新进展,深度解读前沿技术

端侧 Agent 怎么省电?关键是少让 CPU 介入调度

端侧 Agent 的耗电不只看推理速度,还要看任务切换时 CPU 被叫醒多少次。Arm 用 CPU、GPU、NPU 分工处理不同负载;“周易”X3 公布的最低 0.5% CPU 负载,指向的是调度开销,不是整机功耗。

0 次阅读 约 1679 字 3 分钟 AI 生成
An NPU chip quietly sorting queued task tokens while the CPU chip beside it rests dim and inactive.
An NPU chip quietly sorting queued task tokens while the CPU chip beside it rests dim and inactive.

端侧 Agent 和“点一下、跑一次”的 AI 功能不同。它可能在后台等待输入,收到请求后调用模型,再把结果交回应用。其间还会经历暂停、恢复和优先级变化。

模型单次跑得快,不代表整机省电。只要每次切换都要 CPU 出面,响应、续航和温升仍会受影响。对笔记本、手机和车机来说,NPU 要处理的不只是推理,还有一个更琐碎的问题:能不能少叫醒 CPU。

NPU 不必包办整台设备

Arm 对异构计算的说明很直接:CPU 负责通用计算,GPU 擅长并行处理,NPU 面向 AI 工作负载。把任务交给合适的处理器,既能提高计算速度,也有助于降低能耗。

放到 Agent 里,操作系统、应用逻辑和工具调用仍要由 CPU 处理;GPU 继续承担图形和适合并行执行的任务;模型推理则尽量交给 NPU。三者没有固定的分配比例,具体要看应用。

更值得盯住的是切换成本。任务开始、暂停或调整优先级时,CPU 到底要插手多少次?

0.5% 到底省掉了什么

安谋科技“周易”X3 NPU 集成了 AI 专属硬件引擎 AIFF(AI Fixed-Function)和专用硬化调度器。两者不是一回事:AIFF 是专属硬件引擎,硬化调度器负责安排任务和处理优先级。

EDN China 的报道中,最醒目的数字是 CPU 负载最低可至 0.5%。报道同时提到低调度延迟,以及对端侧多任务和任意优先级调度的支持。

放到 Agent 里,这套设计针对的是前台交互与后台任务的排队和优先级切换,目标是减少 CPU 在零碎任务之间反复接手。例如用户正在输入时,交互任务可以先执行,后台摘要稍后继续。

但 0.5% 很容易被读错。它不是说整机功耗只有 0.5%,也不代表每台设备、每个模型都能复现相同结果。这个数字描述的是特定架构下的最低 CPU 负载。能得出的较窄判断是:硬化调度器可以接走一部分原本需要 CPU 参与的调度工作。

笔记本、手机、车机,各算一笔账

笔记本怕的是并发。 文档摘要、语音助手、代码辅助可能同时运行。除了单次推理速度,NPU 还要处理任务排队和优先级变化。“周易”X3 公布的多任务与任意优先级调度能力,对应的正是这类需求。

不过,现有公开资料没有给出 Arm 与 x86 在同条件 Agent 负载下的对比数据,不能据此得出某一架构全面领先的结论。

手机先算常驻账。 《AI进化加速端侧落地,新一轮换机潮蓄势待发》将 NPU 概括为专为低功耗加速 AI 推理打造。对手机来说,让意图识别、助手推理等任务尽量留在 NPU,并减少 CPU 唤醒,比单纯追求更高的峰值算力更贴近日常使用条件。

车机先排优先级。 语音助手、导航辅助、疲劳监测等任务可能同时出现,关键任务能否先执行,比总算力数字更值得关注。“周易”X3 的低调度延迟和任意优先级调度在这里有参考价值。但公开资料没有给出车机端的微秒级响应数据,也没有证明它达到硬实时要求,具体表现仍要看产品和整机实现。

本地运行,不等于隐私问题自动消失

极术社区转述的 Arm《人工智能就绪指数报告》提到,逾八成受访企业正积极采用 AI,只有 29% 能够自动扩展计算资源,近半数企业领导者担心因模型提取造成的数据隐私泄露。

这是一组企业调查数据,不是终端功耗测试。它能说明的是,企业关注本地计算,不只因为成本和延迟,也有隐私方面的考虑。

端侧推理可以减少部分数据上传需求,但不能自动保证“数据不出端”。数据最终会不会离开设备,还要看操作系统、应用和完整的数据路径。AIFF 与硬化调度器处理的是执行和调度,不能直接等同于隐私保护硬件。

判断一套端侧 Agent 方案是否省电,不能停在芯片参数页上。模型在 NPU 上跑得怎样,调度器会不会频繁叫醒 CPU,CPU 和 GPU 有没有被迫接手不合适的任务,最后都要落到整机的功耗、温度和响应时间上。

现有公开资料里,“周易”X3 最具体的锚点仍是 CPU 负载最低可至 0.5%。它表明部分调度工作可以从 CPU 手中移走,但替代不了笔记本续航、手机温升和车机响应时间的整机实测。

相关阅读