向量检索 1000 次 top10 平均 3.8 条重复 阈值怎么定 陆零云 2026-11-10 10:13:10 34 0 知识库检索接进客服后,top10 里经常三四条讲同一件事。抽了 1000 次检索日志,平均每次 3.8 条重复,最夸张的一次 10 条全是同一段,只是 chunk 起点差 40 个字。用户看到的是同一句话被复述三遍,答案显得很啰嗦。 根因有两个。切块时重叠设了 128 字符,相邻块天然相似;文档更新后旧版本没删,同一段落有两个 doc_id。只按文本做 set 去重不够,chunk 边界不同,字符串不一样,相似度却有 0.96。doc_id 去重前要先做版...