重排分数全挤在 0.99 附近 排序一直没变化 归一化放哪层

知识库问答上线后,答非所问的比例一直下不去。检索链路是 bge-m3 取前 50 条,再用 bge-reranker-v2-m3 重排取前 5,打分调 FlagEmbedding 的 compute_score,阈值写 0.5,低于 0.5 就丢弃。

结果日志里 50 条候选的重排分全在 0.98 到 0.99 之间,一条都没被过滤,噪声全进了 prompt。第一反应是模型加载错了,把模型名打印出来,又拿两条完全不相关的文本单独打分,得到 -7.31 和 2.06,明显不是概率。

问题就在 compute_score 的返回值。它默认 normalize 为 False,给的是 logits,我拿 logits 去比 0.5,正分全过,负分才该被砍。改成 normalize=True,内部走 sigmoid,分数才落到 0 到 1 之间。

改完还有新问题。sigmoid 之后 top1 是 0.93,第 50 条也有 0.11,阈值 0.5 只剩 3 条,其中两条还是同一段被切开的。试过把阈值降到 0.2,噪声又回来了;试过按提问长度分档,规则越写越乱,维护成本比收益高。

最后改成两条规则。绝对阈值只做兜底,设 0.05;真正的过滤看分差,top1 和第 5 条的差距小于 0.15 就当检索没命中,直接回没有找到相关内容。这套规则在 200 条真实提问上跑过,人工看前 5 条的命中率从 61% 提到 84%,误杀 7 条。

重排分数不能只看绝对值。不同模型的分数分布差得很远,换模型就得重新校准,分差比阈值稳得多。

from FlagEmbedding import FlagReranker
rk = FlagReranker('BAAI/bge-reranker-v2-m3', use_fp16=True)
pairs = [[q, d] for d in docs]
scores = rk.compute_score(pairs, normalize=True)
order = sorted(range(len(scores)), key=lambda i: -scores[i])[:5]
gap = scores[order[0]] - scores[order[-1]]
if gap < 0.15:
    return []

您可以还会对下面的文章感兴趣: