vLLM 0.6 的 guided_json 报 500:中文提问为什么解析 schema 失败

陆零云 34 0
给客服系统接了一个 vLLM 0.6.3 的 OpenAI 兼容服务,模型是七 B 的中文微调版。上线第二天,客服反馈中文提问有概率直接弹服务异常,抓到的响应是 500,body 里只有一句 Internal server error。服务端日志对应时刻有一行 guided decoding error,后面跟着 invalid JSON schema。 先按资源问题查。显存没涨,队列也没堆,单独用同样的 prompt 打英文版本,连打二十次全过。把提问换...

结构化输出必填字段缺一个报 400 schema 到底卡在哪层

陆零云 34 0
订单抽取用 gpt-4o-mini 的 json_schema 严格模式,跑了三天稳定,加了个 items 字段之后开始报 400:Invalid schema for response_format 'order': In context=(), 'required' is required to be supplied and to be an array including every key in properties. Missing 'item...