知识库问答上线后带 [1][2] 引用,前端按数组下标去映射来源文档。用户反馈点 [2] 打开的是另一篇,抽查 100 条,引用准确率只有 71%,还出现过 [6],而我们只传了 5 条上下文。
第一反应是模型编造序号。打印请求日志发现 prompt 里给的上下文顺序是重排后的,前端映射用的是重排前的原始 top5。两套顺序错位,[2] 自然指到别处。越界那条是模型按段落数自己数的,不是我们给的编号。
试过在 prompt 里禁止输出不存在的编号,加一句约束,越界从 4% 降到 1%,没有根治,模型对数字的遵守度本来就有限。
改成显式 id:每条上下文前面带 [doC_7f3a] 这样的短 id,要求回答时原样引用。解析阶段用正则抽 id,按 id 查原始文档,与顺序无关。抽不到的 id 直接丢掉,重新按出现顺序编号给前端展示。
还遇到同一篇文档被切成两块都进 top5,两个 id 指向同一个链接,用户点两次看到同一篇。合并来源时按文档 id 去重,展示层只保留一次,角标合并成一个。
代码里加了一层校验:答案里的引用数量为 0 时,说明模型没按格式来,退回不带引用的纯文本答案,不硬凑。
确认:重跑同一批 100 条,引用准确率 97%,越界引用 0 条,同一文档重复引用的问题消失。
ids = re.findall(r'\[doc_([0-9a-f]{4})\]', answer)
for i, cid in enumerate(ids, 1):
doc = store.get(cid)
if not doc:
continue
refs.append((i, doc['title'], doc['url'])) 