vLLM 0.6 的 function calling 工具参数总是空对象怎么排查

现象

Qwen2.5-7B 部署在 vLLM 上,按 OpenAI 格式传 tools 调用天气接口,返回的 tool_calls 里函数名正确,但 arguments 是空字符串或一对空花括号,前端拿去解析直接报错,工具一次都没真正执行。

原因

多数开源模型不会原生输出 OpenAI 的 tool_calls 结构,需要推理框架把模型输出的特殊标记解析成 JSON。vLLM 要显式打开自动工具选择并指定对应的解析器,不加时框架会把整段文本当成普通内容返回,参数自然是空的。工具 schema 没写必填项、字段描述含糊时,模型也容易只给函数名。

解决步骤

第一步,确认启动参数。看服务启动命令里是否带了自动工具选择和匹配 Qwen 的解析器,缺一个就会出现名字对、参数空。

vllm serve Qwen/Qwen2.5-7B-Instruct \
  --enable-auto-tool-choice \
  --tool-call-parser hermes

第二步,把 schema 写严。properties 里每个字段补上 type 和 description,必填项放进 required,参数名统一用英文下划线,不要用中文键,否则模型容易输出一半就停。

第三步,请求侧加保险。temperature 设 0,tool_choice 指定具体函数;拿到 arguments 后先判空再解析,为空时用一条追加提示重试,仍为空就降级成纯文本抽取,保证业务不中断。

验证

同一个问题连续调用十次,arguments 都是合法 JSON 且字段齐全;故意把必填参数留空,模型会追问缺少什么,而不是返回空对象。

小结

参数为空多半是框架没开工具解析。启动参数、schema、请求约束三处对齐,再补一层空值兜底,function calling 才稳定。

您可以还会对下面的文章感兴趣: