检索片段按 512 字符切开后答非所问 拼接顺序怎么排

客服机器人上线两周,用户问「退款多久到账」,它答的是「运费险在 7 个工作日内退回」。知识库里明明有退款时效那一条,召回 top6 里排第 4。把那段单独贴给模型,回答完全正确。问题不在检索,在拼接。

原来的代码把 6 段 chunk 按分数从高到低塞进 prompt,中间用三个横线分隔,没编号也没来源。chunk 512 字符、overlap 64,bge-m3 做向量,bge-reranker-base 重排。翻了 30 条 badCASe,一半是答案片段落在第 3 到第 5 位,模型读完前两段就开始编。

试过把 top_k 从 6 提到 12,答非所问没降,反而多了答一半换话题的情况,噪声一多更容易抓错。也试过只留 top3,召回率掉得厉害,不少问题答案就在第 4 段。

最后改了三处。每段前面加编号和文档标题,写成「[1] 来源:退款政策」;片段按原文顺序排而不是按分数排,让上下文连贯;prompt 里要求只用片段中出现的数字,找不到就说没有。同一批 30 条 badcase,答非所问降到 4 条。

docs.sort(key=lambda d: (d["doc_id"], d["offset"]))
parts = []
for i, d in enumerate(docs[:5], 1):
    head = d["title"].replace("\n", " ")
    parts.append(f"[{i}] 来源:{head}\n{d['text']}")
context = "\n\n".join(parts)
prompt = INSTRUCTION + "\n\n" + context

顺序这件事比想象中重要。同一组片段,按分数降序排和按原文顺序排,答案准确率在我这边差了 11 个百分点。我的解释是原文顺序自带因果和时间关系,分数排序把上下文切碎了。最相关的一段放最前面,其余按原文顺序跟在后面,是目前最稳的排法。

还有个细节:片段之间原来用三个横线分隔,模型有时把横线当成新话题的分界,回答只覆盖最后一段。改成空行加编号之后,这种「只看一段」的情况少了很多。同一套改动在 7B 和 14B 上都试过,14B 对顺序没那么敏感,7B 提升更明显。

您可以还会对下面的文章感兴趣: