陆零云
27
0
客服 Agent 挂了 12 个工具,查订单、查物流、退款、改地址各一个。跑了 800 条真实请求,选错工具 110 次,错误率 13.7%,最常见的是该调退款却调了查订单。
第一反应是描述太短,每个从 20 字扩到 200 字,加上参数示例和返回样例,选错率降到 9.8%。可工具定义占了 6000 token,每轮成本涨 40%,延迟多 300 毫秒。
又试了 few-shot,塞 4 条正确调用示例,选错率 8.1%,效果一般。12 个工具放在一个列表...
陆零云
27
0
客服 Agent 上线第三天开始报 GraphRecursionError: Recursion limit of 25 reached without hitting a stop condition。触发场景很固定:用户说查一下订单再帮我改地址,它就在查订单和改地址之间来回跳。
第一反应是上限太小,把 recursion_limit 调到 100。跑完一次会话烧掉 12 万 token,问题没解决,只是把报错推迟到了第 100 步。日志里同一个 get...
陆零云
33
0
订单查询 Agent 上线两周,有个会话跑了 128 轮没结束。日志里 search_order 被调用 96 次,参数一模一样,订单号都是 A2026110733,每次返回空列表,模型回一句「我再查一下」,下一轮继续查。
翻代码,工具层对查不到的处理是 return ""。模型把空字符串理解成调用失败,于是重试。框架侧只设了 timeout 120 秒,没有轮次上限,一次会话烧掉 4.8 元,上下文累积到 15 万 token。
试过的错法有两个。在 s...
陆零云
42
0
现象
Qwen2.5-7B 部署在 vLLM 上,按 OpenAI 格式传 tools 调用天气接口,返回的 tool_calls 里函数名正确,但 arguments 是空字符串或一对空花括号,前端拿去解析直接报错,工具一次都没真正执行。
原因
多数开源模型不会原生输出 OpenAI 的 tool_calls 结构,需要推理框架把模型输出的特殊标记解析成 JSON。vLLM 要显式打开自动工具选择并指定对应的解析器,不加时框架会把整段文本当成普通内容返回...