chunk 重叠从 0 调到 128 召回反而降了 比例怎么定

一套 3.6 万段的技术文档,切 512 字,overlap 一开始随手写 50,召回很不稳:同一个问题换个说法,命中的段落就从第 3 段跳到第 9 段。有人怀疑是模型不行,我先把切分参数拉出来单独测,别混在一起猜。同一批文档,重叠差 60 个字,hit@5 能差 5 个百分点,这个量级足够让线上答案抖。

准备了 120 条真实提问,人工标了应该命中的段落,embedding 用 bge-m3,重排用 bge-reranker-base,只改 overlap 看 hit@5。overlap 为 0 时 0.68,64 时 0.74,128 时 0.79,256 掉回 0.75。128 是拐点,再往上块数量翻倍,检索结果大量重复,重排模型被同质片段占满,真正的答案被挤出去。

overlap 128 对应 25%,这个比例在我的数据上成立,但别直接抄。文档里表格多、条款短,重叠要给大一点,一段话被切断就彻底废了;连续叙述的长文,10% 到 15% 就够。我这边把 25% 只用在手册类目录,博客类走 10%。

sp = RecursiveCharacterTextSplitter(
    chunk_size=512,
    chunk_overlap=128,
    separators=["\n\n", "\n", "。", ";", ""],
)
docs = sp.split_text(raw)

还有一种省事的做法是把块直接放大到 1000 字、overlap 200,理论上信息更完整。实测 hit@5 只有 0.71,块太粗,重排后精度不够,模型回答时经常把相邻条款的内容混进来。文档类数据宁可切细一点,靠 overlap 补上下文。

换参数后重跑同一套 120 条,hit@5 到 0.79,回答里引用错段落的从 21 条降到 9 条。参数一动这批向量就得重灌,3.6 万段跑一次 12 分钟,成本不高,别为了省这点时间将就。另外把 chunk_size 和 overlap 写进配置表并记录版本号,不然三个月后没人记得这批向量是用什么参数切的,想复现都做不到。

您可以还会对下面的文章感兴趣:

暂无相关文章