2026年6月的一个周末,一个被指派去“加入网络扫一遍”的安全测试Agent,在没人盯着的情况下,把AWS账单刷到了6531美元。它没完成任何实质性攻击,只是在计费逻辑的死角里疯狂旋转——反复调用EC2和NAT Gateway,直到信用卡被风控叫停。据AI Digest报道,这起事故撕开了AI Agent落地潮中最血淋淋的一道口子:开发者对成本的失控,不是用不起大模型,而是压根不知道自己正在花多少钱。
就在上个月,另一位开发者用AutoGPT跑市场调研任务,Agent为了验证一条股票代码,连续调用了174次雅虎财经API,其中163次返回的是完全相同的缓存数据。单日Token消耗飙到870万,折合成本超过200美元。Agent扎堆上线的这半年,行业终于开始低头算账了,但算账的方式暴露出一个比“模型太贵”更致命的问题:计费链路本身就埋着地雷。
陷阱不在模型价格,在调用逻辑的盲区
主流Agent平台的定价页面都很清爽:GPT-4o每百万输入Token 2.5美元,Claude 3.5 Sonnet每百万3美元,Dify专业版每月30美元起。开发者按这个算成本,觉得可控。但账单到手时,数字往往翻了3到5倍。七牛云在一份Agent成本控制策略报告中,把多出来的钱归因于三个结构性漏洞。
第一个是工具调用死循环。 当Agent无法获取预期结果时,它会触发“工具调用死循环”——疯狂重复调用同一个API,每次调用都产生完整的Token消耗和外部API费用。AutoGPT的默认配置里,单个任务的最大循环次数是100。如果一个循环包含3次工具调用、每次消耗5000 Token,一个死循环就能吞掉150万Token。而在Dify这类平台上,陷阱更隐蔽:它的“知识库检索”节点每次调用都会把检索到的文档片段完整注入上下文,如果知识库里有一份300页的PDF,一次检索可能拉进来8000 Token的文本。一个客服Agent每天处理200次咨询,光知识库检索就能吃掉160万Token,占成本的40%以上。
第二个是重试风暴。 Dify的工作流节点默认重试3次,但很多开发者勾选了“启用指数退避”后反而更糟——Agent在等待间隔里继续生成思考链Token,3次重试的实际消耗可能是单次成功的5倍。2026年6月,一位独立开发者公开了自己在Coze平台上的账单:一个简单的新闻摘要Agent,因为RSS源间歇性超时,一天内触发了47次重试,日成本从预估的0.8美元飙升到11.2美元。
第三个是上下文膨胀。 Agent的记忆机制会把历史对话、工具返回结果和中间推理步骤全部塞回上下文窗口。Langfuse的追踪数据显示,一个执行10步任务的Agent,到第7步时单次API调用的上下文长度已经是第1步的4.3倍。Token消耗不是线性的,是指数级爬坡的。
这三个漏洞共享同一套底层假设:Agent是理性的、工具调用是有上限的、Token消耗是可预测的。但现实是反的。
给 Agent 装上电表:劫持 API 调用,实时算账
解决思路不是“别用Agent”,而是让Agent的每一分钱花在哪里都看得见,并且花过头时能自动熔断。以下是一套基于LiteLLM代理层的Python监控方案,核心是把成本计算从“月底看账单”变成“每次调用实时累加”。
from litellm import completion
import time
class MeteredLLM:
def __init__(self, daily_budget_usd=10.0):
self.daily_budget = daily_budget_usd
self.usage_today = 0.0
self.call_log = []
def call(self, model, messages, **kwargs):
if self.usage_today >= self.daily_budget:
raise BudgetExceededError(f"日预算{self.daily_budget}美元已耗尽")
response = completion(model=model, messages=messages, **kwargs)
usage = response.usage
prompt_tokens = usage.prompt_tokens
completion_tokens = usage.completion_tokens
# 按2026年7月gpt-4o定价计算
cost = (prompt_tokens / 1_000_000 * 2.5) + (completion_tokens / 1_000_000 * 10.0)
self.usage_today += cost
self.call_log.append({
"timestamp": time.time(),
"model": model,
"cost_usd": round(cost, 4),
"cumulative_usd": round(self.usage_today, 2)
})
return response
daily_budget参数是硬闸门,超了就直接抛异常,不让Agent继续烧钱。但光有总预算还不够,死循环的特征不是Token消耗大,而是短时间内对同一个工具端点发起大量调用。用滑动窗口计数器捕捉这个模式:
from collections import deque
import time
class ToolCallMonitor:
def __init__(self, window_seconds=60, max_calls_per_endpoint=10):
self.window = window_seconds
self.max_calls = max_calls_per_endpoint
self.call_records = {}
def record_call(self, endpoint_name):
now = time.time()
if endpoint_name not in self.call_records:
self.call_records[endpoint_name] = deque()
while self.call_records[endpoint_name] and \
now - self.call_records[endpoint_name][0] > self.window:
self.call_records[endpoint_name].popleft()
self.call_records[endpoint_name].append(now)
if len(self.call_records[endpoint_name]) > self.max_calls:
raise ToolCallStormError(
f"{endpoint_name}在{self.window}秒内调用了"
f"{len(self.call_records[endpoint_name])}次,触发熔断"
)
这个监控器的逻辑直截了当:如果同一个API端点在60秒内被调用超过10次,立刻中断Agent执行。阈值可以根据业务场景调整——搜索引擎可以设高一点,付费API(如金融数据接口)应该设更低。
真正的防线在 Agent 上线之前
监控脚本解决的是“事后救火”。但真正有效的成本控制,是在Agent进入生产环境之前,就把它在测试环境里的花钱模式摸清楚。据虎嗅报道,2026年Q2开始,一批AI创业公司已经在内部推行“Agent成本预审”流程:任何Agent上线前,必须跑完100个模拟任务,记录每次任务的Token消耗、工具调用次数和外部API费用,计算出单次任务的平均成本和P99极端成本。如果P99成本超过预算的3倍,Agent必须回炉优化Prompt或调整工具链。
一家做电商客服Agent的团队用这个方法,把单次对话成本从0.37美元压到了0.09美元。砍掉的不是模型能力,而是三个隐形消耗:把知识库检索从“每次拉全文”改成“先搜摘要再按需拉详情”;把重试次数从默认3次降到2次并设置总超时;把上下文窗口从128K限制到32K,超出部分用摘要压缩。这些优化没有一行代码涉及模型选型,全是在计费链路上动刀。
这也呼应了我们在《Agent自动续费陷阱调查续:开发者如何把账单透明化?》中提到的思路——三位一线开发者用Langfuse追踪Token、配置用量上限拦截重试死循环,构建了前置账单透明化体系。而《2026 年中电商大促复盘:AI 客服转化率跌破 20% 的真相》同样揭示了一个残酷现实:复杂售后场景下,AI客服的重复调用和幻觉治理正在把成本推向不可控的边缘。
更早的防线还可以埋在架构里。比如,把“判断这个任务是否值得调用云端大模型”这一步放在本地,用端侧小模型做前置审核。《端侧模型功耗红线再收紧,14B参数如何塞进中端机》中提到,骁龙8 Gen5已经能在5.8GB内存下跑14B模型,本地推理成本接近为零。用这道“免费”的工序拦掉至少三成的无效云端调用,是当前性价比最高的成本策略之一。
别把成本控制的责任外包给平台
《科创板日报》6月6日的报道指出,AI基础设施需求结构正在从单一训练算力,扩展到训练、推理、Neocloud、企业部署的多线并进。Agent的规模化落地,意味着推理算力的消耗模式从“可预测的脉冲式”变成了“难预测的长尾式”。这也是为什么我们在《8000P 集群建好后,谁来填满它》里反复强调:算力建得起,不代表填得满;集群调度得动,不代表账单算得清。
回到那张6531美元的AWS账单。它真正教会开发者的事情,不是“Agent不安全”,而是你不能把成本控制的责任外包给平台。熔断脚本、用量上限、工具超时——这三样东西加起来不到100行代码,但能挡住90%的失控场景。账单惊魂不可怕,可怕的是惊魂之后还在用同一套配置跑下一个Agent。
AI Agent正在从“能聊天”走向“会干活”,整机厂商订单爆发,推理算力需求猛增。但在这个产业真正规模化之前,开发者必须先学会一件事:让Agent花的每一分钱,都经过自己的代码审计。 否则,那张天价账单,迟早会寄到你的邮箱里。