HuggingFace tokenizer 把中文切成单字乱码怎么排查分词

陆零云 39 0
现象 把 Qwen2.5 接进自己的服务后,encode 再 decode 出来的中文变成「人工」这类字符,简单句子里还会插进奇怪的字节片段,英文和数字完全正常。同一段文本用官方示例跑就没问题,换成自己的封装就出错。 原因 这是把字节序列当成了 latin-1 文本。Qwen 用的是 byte-level BPE,词表里的 token 对应原始字节,必须用同一份 tokenizer 解码才能还原成 UTF-8。常见诱因有三个:加载了别的模型目录里的...