同一条 prompt 在 vLLM 里 token 多算 12.4% 重复 BOS 和空格怎么清

对账时发现同一个功能,本地推理服务记 1840 个 token,上游只记 1637,差了 12.4%。同一段消息,同一个模型,计费口径不该差这么多,一个月下来差额四百多块。

第一反应是分词器版本不同,拉了两个版本的文件逐段比对,词表完全一致。又把消息拆开逐条编码,单条差异都在个位数,加起来不到 40,剩下的差额藏在模板里。

用对话模板把整段渲染出来看,Qwen 的模板给每条助手消息补了起止标记和换行,系统段后面还有一个空行,这些字符都会变成 token。第二个坑更隐蔽,渲染出来的文本已经带起始符,再调分词器时默认又补一个,平白多出一个。

text = tok.apply_chat_template(
    msgs, tokenize=False,
    add_generation_prompt=True)
ids = tok(text, add_special_tokens=False)["input_ids"]
print(len(ids), ids.count(tok.bos_token_id))

另一个容易忽略的是工具定义。函数描述也会被塞进模板,序列化成一段文本再包一层,字段名和中文说明都算 token,六个工具的声明能占八百多个。之前对账只核对了消息,没算工具,差额又落回自己头上。把工具描述压成一句、参数说明换成短词,token 掉了三百多,可模型选错工具的比例也涨了。

改成先渲染成字符串,再显式关闭自动补特殊符,1840 降到 1645,和上游的 1637 只差 8 个,来自结尾的生成提示,本来就要算。之前按字符数乘 0.6 估的做法误差正负一成半,对账根本对不上。

顺手在网关加了对账字段,请求落库时同时存消息摘要、渲染后的字符数和编码长度,出现偏差能直接定位到模板版本。上线两周,计费差异从一成二收到半个百分点以内。

判断口径对不对,别看单次。抽一百条把编码长度分布画出来,长尾差得多的就是模板问题。多轮对话还要注意,历史消息每轮都被重新渲染一遍,模板里的角色标记会累计,十轮之后能多出两百多个 token。

您可以还会对下面的文章感兴趣:

暂无相关文章