RAG chunk 设 1024 后引用编号指错文档 怎么对上来源

知识库问答上线后带 [1][2] 引用,前端按数组下标去映射来源文档。用户反馈点 [2] 打开的是另一篇,抽查 100 条,引用准确率只有 71%,还出现过 [6],而我们只传了 5 条上下文。

第一反应是模型编造序号。打印请求日志发现 prompt 里给的上下文顺序是重排后的,前端映射用的是重排前的原始 top5。两套顺序错位,[2] 自然指到别处。越界那条是模型按段落数自己数的,不是我们给的编号。

试过在 prompt 里禁止输出不存在的编号,加一句约束,越界从 4% 降到 1%,没有根治,模型对数字的遵守度本来就有限。

改成显式 id:每条上下文前面带 [doC_7f3a] 这样的短 id,要求回答时原样引用。解析阶段用正则抽 id,按 id 查原始文档,与顺序无关。抽不到的 id 直接丢掉,重新按出现顺序编号给前端展示。

还遇到同一篇文档被切成两块都进 top5,两个 id 指向同一个链接,用户点两次看到同一篇。合并来源时按文档 id 去重,展示层只保留一次,角标合并成一个。

代码里加了一层校验:答案里的引用数量为 0 时,说明模型没按格式来,退回不带引用的纯文本答案,不硬凑。

确认:重跑同一批 100 条,引用准确率 97%,越界引用 0 条,同一文档重复引用的问题消失。

ids = re.findall(r'\[doc_([0-9a-f]{4})\]', answer)
for i, cid in enumerate(ids, 1):
    doc = store.get(cid)
    if not doc:
        continue
    refs.append((i, doc['title'], doc['url']))

您可以还会对下面的文章感兴趣: