vLLM 0.6 的 guided_json 报 500:中文提问为什么解析 schema 失败

给客服系统接了一个 vLLM 0.6.3 的 OpenAI 兼容服务,模型是七 B 的中文微调版。上线第二天,客服反馈中文提问有概率直接弹服务异常,抓到的响应是 500,body 里只有一句 Internal server error。服务端日志对应时刻有一行 guided decoding error,后面跟着 invalid JSON schema。

先按资源问题查。显存没涨,队列也没堆,单独用同样的 prompt 打英文版本,连打二十次全过。把提问换成中文,十次里能挂三次,跟长度无关,短问题也挂。这就排除了显存和超时。

把请求里的 response_format 去掉再打,五百消失,输出是普通文本,说明问题在引导解码这一层。请求体里我传的是 json_schema,schema 里有一条 pattern,用来限制字段只能是二到二十个汉字,写的是 ^[一-龥]{2,20}$ 这种区间形式。

换到本地起一个同版本服务复现,日志里能看到 outlines 后端编译正则时的报错,说是区间里的字符集不被支持。这个后端把正则编译成有限状态机,只认 ASCII 区间,中文码点区间直接被拒,异常没有在入口拦住,冒到框架层就变成了 500。

试过把后端换成 xgrammar,五百变成四百,错误信息清楚很多,但同样不接受这段 pattern,而且首 token 延迟从 180ms 涨到 400ms,不划算。也试过把 schema 精简到只剩 type 和 required,能跑通,字段就不再受长度约束。

{
  "type": "json_schema",
  "json_schema": {
    "name": "reply",
    "schema": {
      "type": "object",
      "properties": {
        "answer": {"type": "string"}
      },
      "required": ["answer"]
    }
  }
}

最后把 pattern 从 schema 里拿掉,只在服务端做后置校验,长度不在二到二十之间的重新问一次,最多重试两轮。这样引导解码只负责结构,不碰字符集,五百再没出现过。

验证是用两百条真实中文问题回放,异常归零,其中三条因为长度越界被后置校验拦下重问,最终都拿到了合规输出。schema 的写法也整理成模板,后面新接的业务线直接套,不再随手写正则。

您可以还会对下面的文章感兴趣: