chunk 重叠从 0 调到 128 召回反而降了 比例怎么定

陆零云 23 0
一套 3.6 万段的技术文档,切 512 字,overlap 一开始随手写 50,召回很不稳:同一个问题换个说法,命中的段落就从第 3 段跳到第 9 段。有人怀疑是模型不行,我先把切分参数拉出来单独测,别混在一起猜。同一批文档,重叠差 60 个字,hit@5 能差 5 个百分点,这个量级足够让线上答案抖。 准备了 120 条真实提问,人工标了应该命中的段落,embedding 用 bge-m3,重排用 bge-reranker-base,只改 overla...