知识库检索接进客服后,top10 里经常三四条讲同一件事。抽了 1000 次检索日志,平均每次 3.8 条重复,最夸张的一次 10 条全是同一段,只是 chunk 起点差 40 个字。用户看到的是同一句话被复述三遍,答案显得很啰嗦。
根因有两个。切块时重叠设了 128 字符,相邻块天然相似;文档更新后旧版本没删,同一段落有两个 doc_id。只按文本做 set 去重不够,chunk 边界不同,字符串不一样,相似度却有 0.96。doc_id 去重前要先做版本清理,旧版本标记 deleted,检索时过滤掉。
现在做三层。第一层按 doc_id 加 chunk_idx 去重,挡掉完全相同的块;第二层对内容做 simhash,汉明距离小于 3 视为重复,只留分数高的;第三层用 MMR,lambda 取 0.7,在相关性和多样性之间折中。阈值定在 0.62,低于它的直接丢,实测再低就会把有效补充信息也删掉。simhash 用 64 位,计算放在离线批处理,线上只查表,单次检索多花 4 毫秒。
seen, out = set(), []
for d in hits:
key = (d["doc_id"], d["chunk_idx"])
if key in seen:
continue
if d["score"] < 0.62:
continue
seen.add(key)
out.append(d)
if len(out) == 8:
break
改完同一批 1000 次检索,平均重复从 3.8 条降到 0.7 条,答案平均长度少了 21%,点赞率没掉。阈值不是拍出来的,把 0.55 到 0.75 每 0.05 跑一遍,看重复率和答案完整度两条曲线,交点大概在 0.62。
还有个坑,MMR 不能放在最后做,要先截到 top30 再选 8 条,直接在 top10 上做会把仅有的补充文档也挤掉。有人提议直接把重叠调到 0,召回率掉了 6 个点,切块边界的信息还是有用。MMR 的 lambda 也是调出来的,0.6 太散,0.8 又回到重复,0.7 比较稳。
