客服问答的后处理有一段时间天天报 JSONDecodeError: Expecting value: line 1 column 1 (char 0),把原始输出打出来看,开头是三个反引号加 json,结尾又是三个反引号,中间才是真正的对象。模型是 gpt-4o-mini,temperature 0.3,十次里大概有三次会包围栏。
第一版清洗用 s.strip('```json'),看着能跑,实际上 strip 的参数是按字符集合处理的,会把结尾的 j、s、o、n 也一起削掉。有一条回答最后一个字段正好叫 version,末尾的 n 被吃掉,json.loads 报 Unterminated string。
第二版换成正则,匹配开头的 json 围栏和结尾围栏,大小写都兼容,前面带空格的也处理。有些回答没有结尾围栏,正则匹配不到闭合,就退化成找第一个左花括号和最后一个右花括号再截取。还有模型会在前面加一句「结果如下:」,同样靠截取解决。
踩过的坑是回答里本身带花括号,比如示例代码里有 {name},用第一个左括号和最后一个右括号截取没问题,但如果代码块里还有嵌套字符串带大括号,截出来的范围会多。这种情况先用围栏提取,提不到再退回括号截取。
清洗函数最后还要处理一种情况:模型返回的是数组而不是对象,开头是方括号。所以起点判断要同时看两种符号,终点按对应符号从右往左找。
验证是把线上最近 500 条原始输出存成 jsonl 离线重放,改之前解析失败 147 条,改之后 0 条。剩下 3 条是模型输出被 max_tokens 截断,属于另一个问题,直接把 finish_reason 是 length 的请求重发。
后来给接口加了 response_format 的 json_object 参数,围栏出现率从三成降到不足半成,但老网关不认这个参数会直接 400,所以清洗函数还是留着。
import json
import re
def clean(text):
text = text.strip()
m = re.search(r"```(?:json)?\s*(.*?)```", text, re.S)
if m:
text = m.group(1).strip()
starts = [i for i in (text.find("{"),
text.find("[")) if i >= 0]
start = min(starts)
end = max(text.rfind("}"), text.rfind("]"))
return json.loads(text[start:end + 1]) 