长文第 60% 段召回 0.31 一直上不去 关键文档怎么摆位

陆零云 25 0
128K 长文问答评测跑了 200 篇,答案埋在第 10%、50%、90% 三个位置。中间那档命中率只有 61%,首尾两档 96%。同一份文档换个位置答案就没了,和模型大小关系不大。 第一反应是提示词不够硬,加了「请通读全文再回答」,命中率到 64%,几乎没动。又把 temperature 从 0.7 压到 0.1,中间档还是 63%。不是随机性,是模型对中段内容的注意力本来就弱。 试过按 8K 切 16 块逐块问再汇总,中间档到 94%,但单次成本 16...

本地 Qwen 输出中文全是乱码 tokenizer 词表差 290 怎么核对

陆零云 33 0
本地部署 Qwen2.5-7B-Instruct,用 transformers 4.44 加载,问「介绍一下杭州」,输出开头正常,第三句开始变成一串 �,偶尔夹杂「锟斤拷」。换 llama.cpp 的 GGUF 版本同样乱,说明不是推理框架的问题,嫌疑落到 tokenizer。 打印 tokenizer 的 vocab_size 是 151646,模型 config 里写的是 151936,差了 290。再看 tokenizer.json,是同事从 Qwe...