现象
Qwen2.5-7B 部署在 vLLM 上,按 OpenAI 格式传 tools 调用天气接口,返回的 tool_calls 里函数名正确,但 arguments 是空字符串或一对空花括号,前端拿去解析直接报错,工具一次都没真正执行。
原因
多数开源模型不会原生输出 OpenAI 的 tool_calls 结构,需要推理框架把模型输出的特殊标记解析成 JSON。vLLM 要显式打开自动工具选择并指定对应的解析器,不加时框架会把整段文本当成普通内容返回,参数自然是空的。工具 schema 没写必填项、字段描述含糊时,模型也容易只给函数名。
解决步骤
第一步,确认启动参数。看服务启动命令里是否带了自动工具选择和匹配 Qwen 的解析器,缺一个就会出现名字对、参数空。
vllm serve Qwen/Qwen2.5-7B-Instruct \
--enable-auto-tool-choice \
--tool-call-parser hermes
第二步,把 schema 写严。properties 里每个字段补上 type 和 description,必填项放进 required,参数名统一用英文下划线,不要用中文键,否则模型容易输出一半就停。
第三步,请求侧加保险。temperature 设 0,tool_choice 指定具体函数;拿到 arguments 后先判空再解析,为空时用一条追加提示重试,仍为空就降级成纯文本抽取,保证业务不中断。
验证
同一个问题连续调用十次,arguments 都是合法 JSON 且字段齐全;故意把必填参数留空,模型会追问缺少什么,而不是返回空对象。
小结
参数为空多半是框架没开工具解析。启动参数、schema、请求约束三处对齐,再补一层空值兜底,function calling 才稳定。
