给客服系统接了一个 vLLM 0.6.3 的 OpenAI 兼容服务,模型是七 B 的中文微调版。上线第二天,客服反馈中文提问有概率直接弹服务异常,抓到的响应是 500,body 里只有一句 Internal server error。服务端日志对应时刻有一行 guided decoding error,后面跟着 invalid JSON schema。
先按资源问题查。显存没涨,队列也没堆,单独用同样的 prompt 打英文版本,连打二十次全过。把提问换成中文,十次里能挂三次,跟长度无关,短问题也挂。这就排除了显存和超时。
把请求里的 response_format 去掉再打,五百消失,输出是普通文本,说明问题在引导解码这一层。请求体里我传的是 json_schema,schema 里有一条 pattern,用来限制字段只能是二到二十个汉字,写的是 ^[一-龥]{2,20}$ 这种区间形式。
换到本地起一个同版本服务复现,日志里能看到 outlines 后端编译正则时的报错,说是区间里的字符集不被支持。这个后端把正则编译成有限状态机,只认 ASCII 区间,中文码点区间直接被拒,异常没有在入口拦住,冒到框架层就变成了 500。
试过把后端换成 xgrammar,五百变成四百,错误信息清楚很多,但同样不接受这段 pattern,而且首 token 延迟从 180ms 涨到 400ms,不划算。也试过把 schema 精简到只剩 type 和 required,能跑通,字段就不再受长度约束。
{
"type": "json_schema",
"json_schema": {
"name": "reply",
"schema": {
"type": "object",
"properties": {
"answer": {"type": "string"}
},
"required": ["answer"]
}
}
}
最后把 pattern 从 schema 里拿掉,只在服务端做后置校验,长度不在二到二十之间的重新问一次,最多重试两轮。这样引导解码只负责结构,不碰字符集,五百再没出现过。
验证是用两百条真实中文问题回放,异常归零,其中三条因为长度越界被后置校验拦下重问,最终都拿到了合规输出。schema 的写法也整理成模板,后面新接的业务线直接套,不再随手写正则。
