长文第 60% 段召回 0.31 一直上不去 关键文档怎么摆位

128K 长文问答评测跑了 200 篇,答案埋在第 10%、50%、90% 三个位置。中间那档命中率只有 61%,首尾两档 96%。同一份文档换个位置答案就没了,和模型大小关系不大。

第一反应是提示词不够硬,加了「请通读全文再回答」,命中率到 64%,几乎没动。又把 temperature 从 0.7 压到 0.1,中间档还是 63%。不是随机性,是模型对中段内容的注意力本来就弱。

试过按 8K 切 16 块逐块问再汇总,中间档到 94%,但单次成本 16 倍,200 篇跑了 40 分钟,线上扛不住。也试过只留前后各 32K,中间丢掉,命中率反而掉到 58%,丢的正好是答案那段。

现在做两步。先用 BM25 在全文里找和问题最接近的三个段落,把命中的段落提到开头 2K 以内,原文完整保留在后面。等于给模型一份目录加一份全文。段落定位用 jieba 分词,专有名词加自定义词典,避免被切碎。

def rerank(doc, question, topn=3):
    paras = split_paras(doc, max_len=1200)
    scores = bm25(paras, question)
    idx = scores.argsort()[::-1][:topn]
    head = "\n".join(paras[i] for i in idx)
    return head + "\n---\n" + doc

改完中间档从 61% 到 93%,首尾两档没变,token 只多 12%。关键段落在开头重复一次,等于把注意力硬拉过去,比在提示词里喊仔细看有效。段落长度也有讲究,1200 字一段比 300 字一段命中高 6 个点,切太碎会丢掉上下文。

为了确认不是评测集的问题,我把同一段答案复制到五个位置各放一份,只留一份正确内容,其余换成同长度干扰文。结果模型只在首尾两份里找到答案,中间三份全读成干扰文的内容。又把 max_model_len 从 131072 降到 65536,中间档反而升到 71%,说明上下文越长,中段越容易被忽略。这条结论后来写进了选型文档,长文任务不再只看标称窗口。

验证别只看平均分。三个位置的命中率分开统计,中间档和首尾档的差距从 35 个点压到 3 个点,才算真的修好,别被平均分糊弄。

您可以还会对下面的文章感兴趣: