本地 Qwen 输出中文全是乱码 tokenizer 词表差 290 怎么核对 陆零云 2026-11-10 10:10:09 33 0 本地部署 Qwen2.5-7B-Instruct,用 transformers 4.44 加载,问「介绍一下杭州」,输出开头正常,第三句开始变成一串 �,偶尔夹杂「锟斤拷」。换 llama.cpp 的 GGUF 版本同样乱,说明不是推理框架的问题,嫌疑落到 tokenizer。 打印 tokenizer 的 vocab_size 是 151646,模型 config 里写的是 151936,差了 290。再看 tokenizer.json,是同事从 Qwe...