bge-reranker 输入 512 token 长段落前 300 字被丢怎么切

知识库的段落平均九百字,重排模型的词表上限五百一十二,代码里直接开了截断。离线评测前十归一化折损只有 0.76,把同一批候选换成人工看,前三条明显该排第一的段落被压到第五。打印 token 才发现,长段落的后半段根本没进模型。

第一反应是把上限提到一千零二十四,批大小从十六降到四,单条一百二十毫秒涨到三百八十毫秒,显存也从 1.1G 涨到 2.3G,和生成模型挤在一张卡上又开始报显存溢出。更麻烦的是模型训练时就是五百一十二,硬拉长后分数分布变了,短段落反而被压低。

试过滑窗取最大分,把长段落切三段各打分取最高。结果长的文档天然占便宜,指标只回到 0.79,摘要类问题排上来一堆冗长段落。又试三段取平均,长段落被稀释,掉到 0.75。两种都不对。

换成建索引时就切段落,三百八十四 token 一段,重叠六十四,段落编号保留父文档。精排对段落打分,按父文档聚合,取前两段的分数做加权平均,权重零点七和零点三,再乘一个长度惩罚,超过一千二百 token 的文档乘零点九五。这样既不截断,也不让长文刷分。

def score_doc(q, text, tok, model):
    ids = tok(text, truncation=False)["input_ids"]
    wins, step = [], 384
    for i in range(0, max(1, len(ids) - 64), step):
        seg = tok.decode(ids[i:i + 384])
        wins.append(seg)
    pairs = [(q, s) for s in wins]
    scores = model.predict(pairs, batch_size=8)
    return float(max(scores))

改完前十归一化折损从 0.76 到 0.84,平均倒数排名从 0.71 到 0.79。延迟一百四十毫秒,比单段五百一十二多二十毫秒,因为一个文档平均要打二点四段。候选从五十降到三十,总耗时反而少八毫秒。

聚合不能只用最大分。法律条文里一个关键句就能决定相关性,取最大是对的;产品文档要整体看,平均更稳。现在按知识库配聚合方式,法律用最大,产品用加权平均,配置跟着索引走,不写死在代码里。

还有一点容易忽略,切段落时如果刚好把「但是」「除非」这类转折词切开,前后两段各拿一半意思,精排会同时给高分。我在切分点向前找最近的句号,最多回退二十个字,保证一段至少有一个完整分句。这个改动让指标又多了零点零一个点,但错排投诉少了很多。

您可以还会对下面的文章感兴趣: