Agent 调工具 128 轮还在重查同一张表 轮次上限怎么设

订单查询 Agent 上线两周,有个会话跑了 128 轮没结束。日志里 searCh_order 被调用 96 次,参数一模一样,订单号都是 A2026110733,每次返回空列表,模型回一句「我再查一下」,下一轮继续查。

翻代码,工具层对查不到的处理是 return ""。模型把空字符串理解成调用失败,于是重试。框架侧只设了 timeout 120 秒,没有轮次上限,一次会话烧掉 4.8 元,上下文累积到 15 万 token。

试过的错法有两个。在 system 里写「不要重复调用同一个工具」,模型照旧复读,只是每次多解释一句。把 temperature 从 0.7 降到 0.2,重复率从 31% 降到 24%,治不了根。还给工具加了 2 秒 sleep 想拖慢节奏,纯粹是让用户等得更久。

现在做三层。max_turns 设 8,到顶塞一条 user 消息「工具预算已用完 请基于现有信息回答」,然后去掉 tools 再请求一次,逼它出最终答案。工具查不到时返回 {"ok": false, "reason": "not_found"},不返回空串。最后加去重,把 tool_name 和参数序列化后算 md5,同一个 md5 出现两次就终止,把上次结果原样交给模型总结。

import hashlib, json

def call_once(name, args, seen):
    key = hashlib.md5(
        (name + json.dumps(args, sort_keys=True)).encode()
    ).hexdigest()
    if key in seen:
        return seen[key], True          # 第二次直接复用
    out = run_tool(name, args)
    seen[key] = out
    return out, False

还有一处容易忽略。轮次到顶后如果直接抛异常,前端拿到 500,用户看到的是系统错误。现在是返回一个正常回复加标记 truncated,前端在气泡下面补一行「信息可能不完整 建议提供订单号后四位」。

回放线上 200 条会话,平均轮次从 11.4 降到 3.2,P99 从 128 落到 7,单会话成本 0.31 元。售后工单场景仍允许把上限调到 12,那边的用户会中途补新单号,轮次放宽一点更稳。上限值写进配置表,按业务线分开,别在代码里写死一个 8。

您可以还会对下面的文章感兴趣: