AI 纪元 追踪人工智能最新进展,深度解读前沿技术

让客服 Agent 自己改 Prompt,先把评估流程搭好

Self-Evolving Agent 能把问题发现、改写、验证和版本保存串起来,但现有素材不足以证明客服系统能“无需维护”或节省 80% 人力。结合 Autoresearch、OpenAI Cookbook、EvoMap Evolver 与 Yunjue Agent,文章拆出日志、评估、影子测试和回滚流程。

0 次阅读 约 3096 字 6 分钟 AI 生成

先删掉“无需维护”的承诺

客服 Prompt 很容易变成一堵补丁墙。产品规则调整后,旧指令里留下冲突;工具接口变了,Agent 还按原来的格式调用;用户换一种问法,意图分类又可能失效。所有问题都交给人逐条修,维护工作自然越积越多。

Self-Evolving Agent 提供了另一种处理方式。2026 年 3 月 16 日,YouTube 频道“系统在建”在相关视频中拆解了 Karpathy 的 Autoresearch、OpenAI 官方 Cookbook 和 EvoMap Evolver。三条路线可以抽出一条共同流程:发现问题、提出改动、验证结果,再保存表现更好的版本。

现有可引用材料没有给出客服维护人力下降 80% 的验证,也没有证明系统能够完全无人值守。更准确的目标是:少做反复手改 Prompt 的工作,把修改过程变成可检查、可测试、可回滚的版本发布。

自进化到底改了什么

Eigent 在自进化智能体的介绍中提到,许多已经部署的 Agent 从上线那一刻起就基本固定了:Prompt 由人编写,工具被硬编码,行为要等开发者发布新版本才会改变。

Self-Evolving Agent 可以更新的不只有 Prompt。《The What & When of Self-Evolving Agents》用一个 3×3 框架区分两件事:系统改了什么,以及这些改动会保留多久。放到客服场景里,边界可以这样划:

更新对象 客服里的具体问题 建议的上线边界
Prompt 与回答策略 退换货口径含糊,追问条件遗漏 Agent 生成候选版本,评估通过后再发布
工具描述与调用规则 该查政策库时却调用订单接口 必须用历史对话回放,检查是否误伤其他意图
记忆与检索策略 用户已经给出订单号,下一轮又被要求重复提供 限制保存范围,并单独检查隐私和错误记忆
模型权重与架构 需要更长期的能力变化 不建议作为客服项目的起点

多数团队可以先把范围锁定在 Prompt、工具描述和检索规则。改动范围越大,验证与回滚也会越难。

这四条线索,分别能借什么

Autoresearch、OpenAI Cookbook 和 EvoMap Evolver 在上述视频中被放在一起讨论。它们更适合当作自我改进的工程参照,不能直接视为已经验证过的客服产品。

  • Autoresearch:适合用来理解反复试验、复盘结果和保留较优版本的思路。
  • OpenAI Cookbook:如果团队已经在使用 OpenAI 的工程链路,可以从官方示例入手,把现有评估程序接到 Prompt 修改流程上。
  • EvoMap Evolver:适合研究如何单独组织“演进”环节,而不是把修改逻辑全塞进主 Agent。
  • Yunjue Agent:提出了 In-Situ,也就是原位自进化。根据项目介绍,它在推理过程中持续积累工具能力,无需外部监督,并开源了代码和 trace。

Yunjue Agent 在 HLE、DeepSearchQA、FinSearchComp、XBench ScienceQA 和 XBench DeepResearch 五个跨领域 benchmark 上取得了 SOTA 或接近 SOTA 的结果。这个成绩说明原位自进化路线具备研究价值,但它不是客服准确率,更不能直接换算成维护成本。客服团队仍要用自己的政策、工具和历史对话重新评估。

客服先跑通这条发布链

一套稳妥的自进化流程,可以压缩成下面这条链路:

对话 trace → 失败归因 → 候选改动 → 历史回放 → 影子流量 → 审批发布 → 监控与回滚

最先要补齐的是 trace。除了用户问题和最终答案,还应记录检索到的文档、工具调用参数、工具返回结果、转人工情况以及人工客服最终如何处理。没有这些信息,系统只能看到“用户不满意”,无法判断问题出在知识、工具还是上下文。

接下来是失败归因。评估器可以由规则、模型评审和人工标签共同组成,但输出要足够具体。例如,“回答不好”没有修改价值;“已经查到订单状态,但没有引用当前退货政策”才指向明确的改动位置。

Agent 可以据此生成候选 Prompt、工具说明或检索规则。候选版本不要直接写入生产环境。先用固定的历史对话回放,再接入影子流量观察结果。每次发布都应保留版本编号、改动内容、评估记录和回滚入口。

看一条退货对话怎么改

假设用户问:“这个订单还能退吗?”客服 Agent 成功调用了订单接口,却没有检索当前退货政策,最后给出一段模糊回答。

评估器应该把它标记为“订单工具调用成功,政策依据缺失”。随后生成的改动可以要求 Agent 在判断能否退货前,同时取得订单状态和有效政策。新版还要在过去的退货、换货和退款对话上回放,确认这条规则没有影响其他流程。

另一种情况是,用户已经提供订单号,下一轮只问“什么时候能到”,Agent 却再次索要订单信息。这里需要调整的是会话状态或记忆检索,不是继续往 System Prompt 里追加话术。

两类错误表面上都是“答得不好”,修改位置完全不同。自进化流程真正节省的,正是人工翻日志、猜原因和反复试词的时间。

别让 Agent 只追一个分数

“系统在建”的视频把“AI 会不会作弊”列为 Self-Evolving Agent 的关键问题之一。客服系统尤其容易遇到这种情况。

如果只看满意度,Agent 可能倾向于尽快转人工;如果只看工具调用成功率,它可能调用并不需要的接口;如果只比较答案与标准话术的相似度,系统又可能固守已经过期的表达。

评估时至少要同时检查政策是否正确、工具结果是否被正确使用、答案有没有依据、问题是否解决、是否发生不必要的转人工,以及人工抽查结果。退款条件、赔付标准、隐私要求等规则应保持为不可自动改写的约束。

记忆层也要单独设限。订单号、手机号和投诉记录不能因为检索效果更好,就被自动写入不受控制的长期记忆。系统可以提出调整建议,生产发布仍需保留人工闸门。

这些场景先别上自进化

  • 反馈信号太弱或噪声太大:没有稳定的解决结果、人工标签或用户反馈,系统很难判断哪个版本更好。
  • 每次话术变更都需要审计:医疗、法律等高合规场景可以使用 Agent 提出修改建议,但不适合自动发布。
  • 对话很短,流程也很固定:简单查询用规则和检索就能完成,引入自进化只会增加测试与治理成本。
  • 没有完整日志和版本回滚:看不到改动原因,也无法在出错后恢复旧版本。
  • 知识库本身长期失准:Agent 再会改 Prompt,也无法修复错误的业务政策和过期文档。

维护岗位会换工作,不会消失

自进化客服的实际价值,是把维护人员从逐句调整 Prompt,转向定义评估规则、审核版本、处理例外和维护业务红线。Prompt 工程仍然存在,只是从手工作坊变成了有记录的发布流程。

更稳妥的起点,是先选一个边界清楚的意图,例如物流查询或退换货政策。让 Agent 负责发现失败和提出候选改动,由历史回放、影子测试与人工审批决定是否上线。等评估流程稳定后,再逐步开放工具规则和记忆策略的调整权限。

成熟的 Self-Evolving Agent 应该做到每次改动都有证据、有版本,也有退路。

参考资料

相关阅读