陆零云
34
0
客服工单工具用 gpt-4o 的工具调用,参数里要带一整段网页模板,输出上限设的一千零二十四。上线第三天开始报错,日志原文是 JSON 解析失败,未闭合字符串停在第 812 列,翻回包发现结束原因是 length,工具参数停在半个标签里。
第一反应是把输出上限提到二千零四十八,错误率从 3.1% 降到 0.8%,仍有长模板被切。又加了失败重试,结果同一个请求重试两次都顶格,账单多花四十元,问题没解决。模型不是不会写,是输出预算被工具参数吃光了。
把并行工具...
陆零云
28
0
报价单里要算面积乘单价,让 gpt-4o-mini 直接算 187×243,10 次里错 3 次,45441 和 45641 来回跳。三个数连乘更难,基本靠猜,错的那几次还都说得很有道理。
原因不在题难。tokenizer 把 187 切成 1、8、7 三个 token,模型没有逐位对齐的能力,只能靠模式补全。试过 few-shot 塞 5 个三位数乘法的例子,错误降到十分之一,换成四位数又开始错。试过让它先分解成 187×200 减 187×43,中间步...
陆零云
42
0
现象
Qwen2.5-7B 部署在 vLLM 上,按 OpenAI 格式传 tools 调用天气接口,返回的 tool_calls 里函数名正确,但 arguments 是空字符串或一对空花括号,前端拿去解析直接报错,工具一次都没真正执行。
原因
多数开源模型不会原生输出 OpenAI 的 tool_calls 结构,需要推理框架把模型输出的特殊标记解析成 JSON。vLLM 要显式打开自动工具选择并指定对应的解析器,不加时框架会把整段文本当成普通内容返回...