接 gpt-4o-mini 做订单信息抽取,tool 定义里 6 个参数,上线第一天 500 次调用里有 37 次在 json.loads 处抛 Expecting value: line 1 column 1 (char 0)。把 arguments 打出来看,模型在一段正常 JSON 后面又补了一句中文,大意是这个订单缺少收货地址请补充。
tool_calls 的 arguments 是字符串,模型并不保证它一定是纯 JSON,输入本身缺字段时尤其容易跑偏。只在 prompt 里写只输出 JSON 基本没用,我加了 response_format 也没完全消掉,因为走的是 function calling 分支,那套约束不生效。
兜底分三层:先找第一个左花括号和最后一个右花括号,截中间那段再 loads;失败就去掉 markdown 的 json 包裹再试;还失败才当一次失败请求,用 temperature 0 加显式 schema 重调一次,最多一次,不递归。
import json, re
def parse_args(s):
m = re.search(r"\{.*\}", s, re.S)
if not m:
return None
try:
return json.loads(m.group(0))
except json.JSONDecodeError:
return None
还有一种情况是 arguments 直接是空字符串,通常发生在模型认为没必要调工具时。这种别重试,按业务缺省值走,日志里留一条 warn 就够。抽取的字段里有金额和地址,金额一旦为 None,下游对账就炸,所以宁可整条打回人工,也不要写半截数据。
改完 37 次降到每 500 次剩 2 次,剩下两次是模型把两个订单合并成一个对象,字段对但语义错,解析层救不了,得在业务层用订单号去重。参数校验也别只做 json.loads,后面接一层 Pydantic,缺字段当场报出来,比让 None 流进数据库强得多。
