top_k 设 10 还是 50 | 相似度阈值 0.72 到底怎么定

向量库是 Milvus 2.4,HNSW 索引,metric 用 COSINE,embedding 是 bge-m3。top_k 一开始拍脑袋写 50,理由是多召回点总没错,结果塞给 gpt-4o-mini 的上下文经常到 9000 token,答案反而变散,账单也上去了。

做了一轮对照,120 条问题,固定重排模型,只改 top_k。top_k=5 时 hit@5 是 0.72,10 是 0.86,20 是 0.87,50 是 0.88。10 以后基本走平,多出来的 40 条全是噪声,还把重排的分数分布拉平了。

再测相似度阈值。COSINE 分数低于 0.66 的结果里,人工看有八成是无关段落;卡到 0.72 能砍掉 18% 的候选,hit@5 只掉 1 个点,但最终答案准确率从 74% 升到 83%,因为模型不再被边缘内容干扰。

最终配置是 top_k=20 加 score 不低于 0.72,再 rerank 取前 4 条进 prompt,平均上下文 2800 token。注意 Milvus 在 COSINE 下返回的 distance 其实是相似度,别写反比较方向,我第一次写成小于 0.72 全被过滤光,排查了一小时。

res = col.search(
    data=[vec], anns_field="vec",
    param={"metric_type": "COSINE", "params": {"ef": 64}},
    limit=20, output_fields=["text", "doc_id"],
)
hits = [h for h in res[0] if h.score >= 0.72][:4]

另有一批问题问得很短,比如换个电池多少钱,这种 top_k 给 20 也召不回,向量本身信息太少。后来在查询改写里补上产品名才解决,光调 top_k 无效。阈值过滤后如果一条都不剩,直接回一句没找到相关内容,别让模型硬答。

上线后每周抽 30 条人工看。阈值不是一劳永逸的,换 embedding 模型或者文档结构大改都得重测,0.72 这个数只对我这套 bge-m3 和这批数据成立。

您可以还会对下面的文章感兴趣: