陆零云
41
0
现象
Qwen2.5-7B 部署在 vLLM 上,按 OpenAI 格式传 tools 调用天气接口,返回的 tool_calls 里函数名正确,但 arguments 是空字符串或一对空花括号,前端拿去解析直接报错,工具一次都没真正执行。
原因
多数开源模型不会原生输出 OpenAI 的 tool_calls 结构,需要推理框架把模型输出的特殊标记解析成 JSON。vLLM 要显式打开自动工具选择并指定对应的解析器,不加时框架会把整段文本当成普通内容返回...
陆零云
30
0
现象
用 vLLM 0.6.3 起了 OpenAI 兼容服务,curl 请求 http://127.0.0.1:8000/v1/chat/completions 返回 404,响应体是 {"detail":"Not Found"},但同一端口访问 /v1/models 能正常列出模型。
原因
404 表示 HTTP 服务正常,只是请求路径没有匹配到路由。常见三种:客户端 base_url 里多写了一层 /v1,最终拼成 /v1/v1/chat/comple...
陆零云
44
0
现象
24G 显存的卡上用 vLLM 0.6.3 加载 7B 模型,进程启动十几秒就退出,日志最后一行是 ValueError: Free memory on device cuda:0 is less than desired GPU memory utilization。机器上没有别的训练任务,把张量并行改成 2 仍然一样。
原因
vLLM 默认按 gpu_memory_utilization=0.9 去预留整卡显存,权重、KV Cache、CUDA...