Qdrant 1.8 开标量量化召回掉 4.2 个点 rescore 怎么开才不亏

陆零云 22 0
200 万条 1024 维向量放在 Qdrant 1.8 里,原始向量加索引吃掉 8.4GB,机器只有 16GB,再跑个重排进程就爆内存。开标量量化,八位整数,内存掉到 2.6GB,看着很香,当天就上了生产。 第二天评测报警,平均倒数排名从 0.86 掉到 0.82,正好 4.2 个点。第一反应是搜索范围不够,把候选扫描数从 64 提到 256,延迟从 18 毫秒涨到 61 毫秒,召回一点没回来。量化误差是把每个分量的精度压到八位,扩大候选集救不了。 查文...