工具挂到 12 个后 Agent 选错率 13.7% tool_choice 怎么锁

客服 Agent 挂了 12 个工具,查订单、查物流、退款、改地址各一个。跑了 800 条真实请求,选错工具 110 次,错误率 13.7%,最常见的是该调退款却调了查订单。

第一反应是描述太短,每个从 20 字扩到 200 字,加上参数示例和返回样例,选错率降到 9.8%。可工具定义占了 6000 token,每轮成本涨 40%,延迟多 300 毫秒。

又试了 few-shot,塞 4 条正确调用示例,选错率 8.1%,效果一般。12 个工具放在一个列表里,名字还都带 order,模型本来就容易混。示例还占了 900 token,长对话里挤掉历史消息,得不偿失。

换成两级路由。第一轮只给三个域工具,order、logistics、after_sale,用 tool_choice 强制模型先选域。第二轮只把选中域下的三四个工具给它。域选错只有 2 次,域内选错 15 次。

DOMAIN = [{"name": "order",
           "description": "订单查询与修改"},
          {"name": "logistics",
           "description": "物流轨迹"},
          {"name": "after_sale",
           "description": "退款退货"}]
def route(question):
    r = call_model(question, tools=DOMAIN,
                   tool_choice="required")
    return r.tool_calls[0].function.name

参数校验也补了一层。入参用 Pydantic 校验,失败把错误原文回给模型重试,最多两次,两次不对转人工。这一步把空参数调用从 34 次压到 3 次。路由那一步用 temperature 0,同样的输入结果可复现。

线上还发现模型把用户的问题整句当成参数,比如「帮我退昨天的订单」直接塞进 order_id,校验拦下。提示词里明确参数只能是数字或单号,校验失败时把字段说明再回传一次,这类错从 21 次降到 4 次。

域路由的提示词只写三行,每个域一句话,别塞业务细节。第一轮给的信息越少,模型选域越稳,这点和直觉相反。工具名也改了,去掉重复的 order 前缀,换成 query_order、refund_apply,混用的次数少了 8 次。域名用英文短词,别用中文,模型在标识符之间切换更稳,这套路由不额外花钱,只多一次模型调用。

改完选错率 2.1%,首轮 token 从 6000 降到 1800,延迟少 220 毫秒。工具超过 8 个就该分层,别指望把描述写长就能让模型分清。

您可以还会对下面的文章感兴趣: