现象
把 Qwen2.5 接进自己的服务后,enCode 再 decode 出来的中文变成「人工」这类字符,简单句子里还会插进奇怪的字节片段,英文和数字完全正常。同一段文本用官方示例跑就没问题,换成自己的封装就出错。
原因
这是把字节序列当成了 latin-1 文本。Qwen 用的是 byte-level BPE,词表里的 token 对应原始字节,必须用同一份 tokenizer 解码才能还原成 UTF-8。常见诱因有三个:加载了别的模型目录里的 tokenizer 词表,手工按字节切分 ids 数组,或者关闭了特殊 token 处理导致控制符混进结果。
解决步骤
第一步,打印 token 看切分是否符合预期。正常中文应该是整词或常见词组,如果全是单字节 token,说明词表就不对。
from transformers import AutoTokenizer
tk = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
ids = tk.encode("人工智能与机器学习")
print(ids)
print(tk.convert_ids_to_tokens(ids))
print(tk.decode(ids, skip_special_tokens=True))
第二步,统一 tokenizer 来源。生成端和解析端都从同一个模型目录加载,不要一边用 bert-base-chinese 一边用 Qwen,也不要用字符级切分替代 tokenizer 统计长度。
第三步,规范解码方式。保留 skip_special_tokens=True,不要按字节截断 ids;流式输出时按完整 token 边界拼接再发送,否则半个汉字会先被推给前端,显示成问号或乱码。
验证
同一句话编码再解码后与原文完全一致,含 emoji 和生僻字的样本也不出错;流式接口逐字输出时没有替换符,前端收到的文本可以直接入库。
小结
中文乱码通常不是模型不会中文,而是 tokenizer 用错或解码方式不对。统一来源、按 token 边界处理、保留标准解码参数就能解决。
