本地 Qwen 输出中文全是乱码 tokenizer 词表差 290 怎么核对

本地部署 Qwen2.5-7B-InstruCt,用 transformers 4.44 加载,问「介绍一下杭州」,输出开头正常,第三句开始变成一串 �,偶尔夹杂「锟斤拷」。换 llama.cpp 的 GGUF 版本同样乱,说明不是推理框架的问题,嫌疑落到 tokenizer。

打印 tokenizer 的 vocab_size 是 151646,模型 config 里写的是 151936,差了 290。再看 tokenizer.json,是同事从 Qwen1.5 目录顺手拷过来的,词表和 Qwen2.5 不是一套。id 映射错位,decode 出来自然是乱码,模型本身没坏。

试过在 generate 里加 skip_special_tokens=True,乱码少了一点,但正常汉字也跟着丢。也试过 clean_up_tokenization_spaces,对中文无效。这两个参数只处理空格和特殊符号,解决不了词表错位。

tok = AutoTokenizer.from_pretrained(path)
mdl = AutoModelForCausalLM.from_pretrained(path)
print(tok.vocab_size, mdl.config.vocab_size)
print(tok.eos_token_id)
print(tok.convert_tokens_to_ids("</s>"))

正确做法是把模型目录下的 tokenizer.json、tokenizer_config.json、vocab.json、merges.txt 四个文件一起换成同版本,再核对 eos_token_id,Qwen2.5 是 151645,Qwen1.5 是 151643。改完 vocab_size 和 config 对齐到 151936,同一段输入输出「杭州是浙江省会,西湖在城西」。

上线前加一条启动检查,tokenizer 编码再解码,和原文逐字比对,不一致就拒绝启动。这个检查 20 行代码,比线上看到乱码再回滚便宜得多。

您可以还会对下面的文章感兴趣: