同一条 prompt 在 vLLM 里 token 多算 12.4% 重复 BOS 和空格怎么清

陆零云 32 0
对账时发现同一个功能,本地推理服务记 1840 个 token,上游只记 1637,差了 12.4%。同一段消息,同一个模型,计费口径不该差这么多,一个月下来差额四百多块。 第一反应是分词器版本不同,拉了两个版本的文件逐段比对,词表完全一致。又把消息拆开逐条编码,单条差异都在个位数,加起来不到 40,剩下的差额藏在模板里。 用对话模板把整段渲染出来看,Qwen 的模板给每条助手消息补了起止标记和换行,系统段后面还有一个空行,这些字符都会变成 token。第...