一家做企业服务的SaaS公司,在2026年3月的内部审计中,发现系统里悄无声息地运行着47个AI智能体。有的在自动回复客服邮件,有的在生成合同草稿,有的在爬取竞品数据。但当管理层问起“它们干得怎么样”时,技术、运营、财务三个部门给出的答案完全不同。
我们访谈了三家正在规模化部署AI Agent的企业,他们的核心矛盾已经从“能不能用”转向了“怎么管好”。
算不清的账
“我们一度觉得,Agent跑起来就是赚到了。”某跨境电商的运营总监说。他们的智能体从2025年底的3个膨胀到2026年4月的22个,负责从选品分析到售后邮件的七个环节。但季度复盘时,财务发现一个尴尬的事实:采购AI Agent服务的总成本比请实习生高了40%,但无法证明效率提升了多少。
问题出在哪里?他们缺少一套能说清Agent价值的评估体系。给AI智能体定KPI,不能只看“跑了多久”,得看它具体干成了什么、搞砸了什么、以及人类为它的错误兜了多大的底。
三把标尺
三家受访企业最终殊途同归,把AI智能体的考核收敛到了三个维度。这不是某个咨询公司画出来的框架,而是他们在实际运营中撞墙后拼出来的。
任务效能:直接采纳率 这是最直观的指标,但也是最容易被误用的。一家法律科技公司的做法是:为每类Agent任务预设“最低可接受产出”。比如,合同审查Agent的指标不是“审了多少份合同”,而是“它审过的合同里,有多少份可以直接采纳、多少份需要人工修改、多少份被完全打回重做”。他们内部用的是一个简单的比率:直接采纳率。2026年第一季度,他们的合同审查Agent直接采纳率从1月的31%爬升到了3月的58%。低于40%的Agent会被标记为“待优化”,连续两个季度低于30%则直接下线。
错误成本:修正代价 这是多数团队最不愿意算,但又最该算的指标。智能体犯错不是没有代价的——客服Agent说错了话,可能导致客诉升级;数据分析Agent给错了报表,可能影响决策。那家跨境电商为此建立了一个“错误成本核算表”:记录每一次Agent输出需要人工修正的事件,估算修正所需的时间和人力成本。他们发现,Agent的错误呈现“长尾分布”——80%的错误是小问题(格式错误、漏掉一个字段),修正只需2分钟;但剩下的20%是硬伤(金额算错、发错邮件),每起修正平均耗时45分钟,还需要主管签字。他们的底线是:Agent单次错误的修正成本,不能超过人工完成该任务成本的1/3。
协作效率:交接摩擦率 这可能是最不直观但最关键的维度。很多Agent的任务设计是“人机接力”——Agent干第一步,人类收尾。但如果Agent的输出让人看不懂、没法用,人类花在“理解Agent在想什么”上的时间,会吃掉所有效率增益。那家法律科技公司用了一个指标叫“交接摩擦率”:人类接手Agent产出后,平均需要多少时间才能将其推进到下一环节。他们发现,当Agent的输出没有附上推理过程或关键置信度时,法务人员的平均交接时间是22分钟;当Agent输出附带了清晰的推理链和低置信度标注后,交接时间降到了7分钟。
谁来管?
光有指标还不够,得有人负责。三家企业的共同做法是:为每类AI Agent指定一个“数字员工经理”(Digital Employee Manager),通常由该流程的业务负责人兼任。
这位经理的职责不是写代码,而是:每周审阅Agent的任务日志,抽样检查5-10条输出;每月更新Agent的SOP和提示词,根据业务变化调整指令;每季度参与Agent下线决策,投票决定哪些Agent该退休、优化或新增。
一家物流公司的做法更进一步:他们把Agent的运行成本和产出指标接入了公司内部的BI看板,与人力成本并列显示。这样,业务负责人能直观看到“用Agent处理这批订单,比用实习生便宜28%,但错误率高了2倍”,从而做出数据驱动的资源配置决策。
这背后有一个硬约束:不要让Agent的管理变成黑箱。给Agent定KPI,本质上就是把这个“约束”量化。
算清楚,再“发工资”
2026年6月,当AI Agent从“Demo玩具”变成企业内部的“编外员工”,考核体系的缺失正成为规模化落地的最大阻力之一。三家受访企业的经验指向同一个结论:给AI智能体发“绩效工资”,不是要搞复杂的算法评估,而是要像管理一个新入职的实习生一样——定清楚任务、衡量产出质量、算明白错误代价、并指派专人带教。
区别在于,实习生会成长,而Agent的“成长”需要人类持续喂数据、调提示、更新SOP。这本身就是一种人力投入。
当你的团队也开始拥有越来越多的“数字员工”,不妨先问三个问题:它干的活,值不值它的“薪水”?它犯的错,你兜不兜得住?它交接的工作,下游同事接不接得动?
答案清晰了,KPI自然就出来了。