现象
让本地 7B 模型按固定格式输出商品信息,返回内容前面带一句「好的,结果如下」和代码围栏,json.loads 直接抛 JSONDecodeError: Expecting value,偶尔能跑通,但末尾少一个右括号,整条链路就断在解析这一步。
原因
模型输出的是自然语言,不是序列化结果。提示词没有强约束时,它会自带解释和围栏;max_tokens 设得太小,JSON 会在中途被截断;中文引号、尾随逗号、注释也都是非法 JSON。这些问题都不属于解析库的 bug,靠换库解决不了。
解决步骤
第一步,先把围栏和前后说明剥掉。用正则取第一个左花括号到最后一个右花括号之间的内容,再去掉代码围栏标记和尾随逗号。
import json, re
raw = resp.choices[0].message.content
m = re.search(r"\{.*\}", raw, re.S)
text = m.group(0) if m else raw
text = re.sub(r",\s*([}\]])", r"\1", text)
data = json.loads(text)
第二步,从生成端约束。请求时带上响应格式要求,或在推理框架里开启结构化输出,把 schema 直接约束到解码过程,比事后正则修补可靠得多。
第三步,留余量并做校验。max_tokens 按字段数估算后再加三百,解析成功后用 Pydantic 校验必填字段;失败时带上原始输出重试一次,仍然失败就落库转人工,不要让异常直接冒到接口层。
验证
连续跑五十条,解析成功率从七成升到接近百分之百;抽查失败样本,都是模型确实没按格式输出,而不是解析代码本身抛错。
小结
JSON 解析失败要分两端处理:生成端用结构化输出约束,解析端做容错和校验。只靠正则修补,遇到截断仍然会失败。
