陆零云
33
0
本地部署 Qwen2.5-7B-Instruct,用 transformers 4.44 加载,问「介绍一下杭州」,输出开头正常,第三句开始变成一串 �,偶尔夹杂「锟斤拷」。换 llama.cpp 的 GGUF 版本同样乱,说明不是推理框架的问题,嫌疑落到 tokenizer。
打印 tokenizer 的 vocab_size 是 151646,模型 config 里写的是 151936,差了 290。再看 tokenizer.json,是同事从 Qwe...
陆零云
32
0
现象
服务器上执行 from_pretrained 加载 7B 模型,transformers 4.44 报 SafetensorError: Error while deserializing header,换成 safetensors 直接打开单文件也是同样结果,但同目录下的 config.json 能正常读取,说明目录本身没挂错。
原因
这个报错表示文件头部不是合法的 safetensors 结构,基本等于文件不完整。常见来源是下载中断留下半截文件、...