AI 纪元 追踪人工智能最新进展,深度解读前沿技术

四家模型跑完,Agent账单差在重试

用同一套客服 Agent 工作流跑 1000 次对话后,四家模型的账单差距从 348 元到 495 元。真正拉开成本的,不只是 token 单价,还有上下文累积、工具调用和重试率。

0 次阅读 约 3339 字 7 分钟 AI 生成

7 月 3 日,罗福莉在 X 上谈 Agent 定价,提醒 LLM 公司在没算清楚“coding plan 怎么定价不亏钱”之前,不要急着打价格战。她还提到一个更具体的方向:上下文管理、复用已有计算结果、减少无效 token 消耗,会成为 Agent 时代模型必须补的课。

这句话落到部署团队身上,就是月底 API 账单。

虎嗅 6 月底的文章也提到,Agent 开始被塞进微信对话框、电脑桌面和企业业务流,模型 API 调用量随之上涨。用户对“看起来很聪明”的通用模型兴趣下降,愿意付钱的前提变成了:它到底能不能干活,干活时贵不贵。

我们用同一套客服 Agent 工作流,跑了 1000 次对话,对比智谱 GLM-4-Air、月之暗面 Moonshot-v1-8k、百川 Baichuan4-Turbo、DeepSeek-V2.5 四个模型的账单。价格按 2026 年 7 月 7 日官网公开阶梯定价计算。

Agent 的钱花在哪里

普通聊天 API 很好算:输入 token 加输出 token,再乘单价。

Agent 麻烦得多。掘金那篇 Agent 成本拆解文章说得很直白:每一次“思考”都要消耗 token,每一次工具调用都可能产生费用,每一轮对话还会把上下文继续带下去。上下文越长,后面每次调用越贵。

这次测试把成本拆成四块:

  • 推理 token:模型输入和输出本身的费用
  • 上下文累积:多轮对话里,历史消息反复进入输入
  • 工具调用:订单查询、知识库检索、优惠券校验带来的额外 token
  • 重试纠错:格式错、工具调用失败后重新生成

客服 Agent 的任务不复杂:退换货咨询、订单查询、优惠券规则解释。但只要进入多轮对话,账单就开始变形。

同一套客服流程,跑 1000 次

测试里的客服 Agent 设置如下:

  • 系统提示词约 800 token,包含角色、业务规则和工具调用规范
  • 工具有三个:订单查询模拟 API、退换货政策本地知识库、优惠券校验模拟接口
  • 共 1000 次用户对话,平均 6 轮
  • 场景覆盖简单查询的 2 到 3 轮,也包括复杂投诉的 8 到 12 轮
  • 按各厂商阶梯价格,累计 token 后计算账单

这组用量接近一个中等规模团队的月度测试量:1000 次 Agent 对话,平均 6 轮,总 token 消耗落在 800 万到 2400 万之间。多数厂商在这个区间会进入第二或第三阶梯。

智谱:单价下来了,重试还要管

GLM-4-Air 的阶梯分得比较细。输入价格从 0.5 元/百万 token 起步,月消耗超过 1000 万 token 后降到 0.3 元,超过 5000 万后降到 0.15 元。输出价格始终是输入的 3 倍。

1000 次对话里,GLM-4-Air 的 6 轮对话平均累积输入约 4200 token。总输入 1890 万 token,总输出 210 万 token,工具调用额外 180 万 token。

最后账单是 427 元。

这个结果不算高,但有一块浪费比较明显:工具调用失败重试率约 8%,多消耗了约 40 万 token。如果提示词和工具参数再收紧,账单还有下降空间。

Moonshot:上下文稳,输出偏贵

Moonshot-v1-8k 的输入价格为 0.6 元/百万 token,输出 1.8 元/百万 token,阶梯门槛设在 2000 万 token。超过后,输入降到 0.35 元。

它在长上下文上更稳。6 轮对话的输入 token 累积控制在 3800 左右,比智谱低一些。但输出更长,同样问题下,回复平均多出 15% token。

这轮测试里,Moonshot-v1-8k 总输入 1710 万 token,总输出 250 万 token,工具调用额外 160 万 token。

账单是 495 元,四家里最高。

差额主要来自输出。Agent 场景里,模型要生成工具调用指令、结构化参数和错误处理内容,输出 token 的权重会被放大。输出单价高,月底账单很容易被推上去。

百川:这次最低,靠的是少返工

Baichuan4-Turbo 的阶梯门槛较低。输入 0.4 元/百万 token,超过 500 万 token 后降到 0.2 元;输出从 1.2 元降到 0.6 元。

它在这次客服 Agent 里最占便宜的地方,不只是价格,而是工具调用干净。

退换货政策检索和订单查询的指令遵循比较稳定,重试率只有 4%。输入 token 累积约 3950/轮,总输入 1770 万 token,总输出 195 万 token,工具调用额外 140 万 token。

最终账单 348 元,是四家里最低的。

但它也不是没有代价。复杂多轮对话超过 10 轮时,Baichuan4-Turbo 偶尔会丢失早期上下文,需要额外注入摘要。对话轮次继续拉长后,摘要和结构化提示词可能吃掉一部分成本优势。

DeepSeek:单价低,不等于总账单最低

DeepSeek-V2.5 的价格最激进:输入 0.14 元/百万 token,输出 0.42 元/百万 token,几乎不做阶梯区分。这个价格看上去很适合批量推理。

但在这套客服 Agent 里,它的上下文累积更快。6 轮对话平均输入达到 4500 token,原因是系统提示词需要更长的格式化指令来保证工具调用稳定。

测试结果是:总输入 2025 万 token,总输出 230 万 token,工具调用额外 170 万 token。

账单 385 元。

单价很低,但 token 用量也更高,所以总成本没有明显低过百川。更关键的是适配期:工具调用格式要求更严,初期重试率一度达到 12%,两轮提示词优化后才降到 6%。如果直接上线,账单可能超过 450 元。

真正拉开差距的三件事

四家模型跑完,账单从 348 元到 495 元,最大差距 42%。表面看是价格差,拆开后更像是工程细节差。

第一,上下文会吃掉输入折扣。

很多团队选模型先看输入单价。但 Agent 的多轮对话会让输入 token 一轮轮膨胀。GLM-4-Air 输入单价降幅明显,可上下文管理不如 Moonshot 紧凑,实际输入 token 多了 10%。单价省下来的钱,被额外消耗抵掉了一部分。

第二,输出价格在 Agent 里更敏感。

普通聊天里,输出占比通常不高。到了 Agent,模型要写工具调用、参数、格式化结果和异常处理。输出一长,输出单价就变成主变量。Moonshot 这次账单最高,主要就高在这一块。

第三,重试率是最容易被低估的成本。

DeepSeek-V2.5 的单价最低,但初期 12% 的重试率会让成本明显上升。每一次重试,都意味着前面的输入上下文要再发一次,新输出也要再生成一次。这个钱在报价页上看不到,只会出现在账单里。

选型别只盯每百万 token

如果只看官网报价,DeepSeek-V2.5 很容易排在前面,百川次之。跑完 1000 次真实工作负载后,判断要细一些。

对话短、工具简单,比如 3 到 5 轮,DeepSeek 的低单价有优势。但前提是提示词适配到位,把重试率压到 5% 以下。

对话在 5 到 8 轮、工具调用频繁,Baichuan4-Turbo 这次更合适。它的阶梯价格和低重试率叠加后,账单最低。

如果经常处理 10 轮以上长对话,上下文稳定性会比单价更重要。Moonshot 的长上下文表现更稳,智谱的阶梯深度也有价值。

团队如果有较强提示词工程能力,可以选低单价模型,再通过系统提示词压缩、工具描述收敛、错误格式约束来降 token。反过来,如果没有时间调优,便宜模型不一定便宜。

罗福莉提到的“优化上下文管理、复用已有计算结果、减少无效 token 消耗”,在这次测试里对应得很清楚:百川账单最低,并不是因为它在所有方面都最强,而是返工少、工具调用干净。

Agent 的 API 成本,最后往往不是模型报价表决定的。它藏在每一次冗余上下文、每一次格式错误、每一次重试里。1000 次对话,348 元和 495 元之间,差的是工程化细节。

相关阅读