本地 Qwen 输出中文全是乱码 tokenizer 词表差 290 怎么核对

陆零云 33 0
本地部署 Qwen2.5-7B-Instruct,用 transformers 4.44 加载,问「介绍一下杭州」,输出开头正常,第三句开始变成一串 �,偶尔夹杂「锟斤拷」。换 llama.cpp 的 GGUF 版本同样乱,说明不是推理框架的问题,嫌疑落到 tokenizer。 打印 tokenizer 的 vocab_size 是 151646,模型 config 里写的是 151936,差了 290。再看 tokenizer.json,是同事从 Qwe...

transformers 4.44 加载 safetensors 报 SafetensorError 提示文件不完整怎么解决

陆零云 32 0
现象 服务器上执行 from_pretrained 加载 7B 模型,transformers 4.44 报 SafetensorError: Error while deserializing header,换成 safetensors 直接打开单文件也是同样结果,但同目录下的 config.json 能正常读取,说明目录本身没挂错。 原因 这个报错表示文件头部不是合法的 safetensors 结构,基本等于文件不完整。常见来源是下载中断留下半截文件、...