客服工单工具用 gpt-4o 的工具调用,参数里要带一整段网页模板,输出上限设的一千零二十四。上线第三天开始报错,日志原文是 JSON 解析失败,未闭合字符串停在第 812 列,翻回包发现结束原因是 length,工具参数停在半个标签里。
第一反应是把输出上限提到二千零四十八,错误率从 3.1% 降到 0.8%,仍有长模板被切。又加了失败重试,结果同一个请求重试两次都顶格,账单多花四十元,问题没解决。模型不是不会写,是输出预算被工具参数吃光了。
把并行工具调用关掉,一次只允许一个工具,参数不再被并行调用分摊,截断率降到 0.3%。同时在客户端加硬判断,结束原因只要等于 length 就整条丢弃,绝不把半截 JSON 塞给解析器。这一步把线上五百错误挡住了大半,也没有降低成功率,因为被丢的请求本来也解析不了。
import json
ch = resp.choices[0]
if ch.finish_reason == "length":
raise ValueError("arguments truncated")
args = json.loads(
ch.message.tool_calls[0].function.arguments)
if "path" not in args or "chunk_id" not in args:
raise ValueError("schema mismatch")
真正的解法是改工具设计。原来保存模板的工具要模型一次传完整网页,改成先建草稿只收标题,再用追加块按段添加,每块不超过四百字。模型每次只生成一小段,参数永远不会顶到上限。调用次数从一次变五次,单次成本反而降了,因为不用为截断重试。五段拼出来的模板和一次生成的格式完全一致,前端不用改渲染。
改完跑一千二百条真实工单,工具参数解析成功率 100%,长尾输出 token 从一千九百八十降到六百四十。追加块带一个序号字段,服务端按序拼,重复调用用工单号和序号做幂等,网络重试也不会写重。
监控里加了一条,结束原因为 length 且带工具调用的请求单独计数,按小时看。这个数只要大于零,就说明还有工具在让模型一次吐太多参数,比等用户报错快得多。
