Qdrant 1.8 开标量量化召回掉 4.2 个点 rescore 怎么开才不亏

200 万条 1024 维向量放在 Qdrant 1.8 里,原始向量加索引吃掉 8.4GB,机器只有 16GB,再跑个重排进程就爆内存。开标量量化,八位整数,内存掉到 2.6GB,看着很香,当天就上了生产。

第二天评测报警,平均倒数排名从 0.86 掉到 0.82,正好 4.2 个点。第一反应是搜索范围不够,把候选扫描数从 64 提到 256,延迟从 18 毫秒涨到 61 毫秒,召回一点没回来。量化误差是把每个分量的精度压到八位,扩大候选集救不了。

查文档发现两个开关要一起开,一是原始向量常驻内存,二是拿到候选后回原始向量重算距离。只开量化不重算,等于用压缩后的距离排序,前一百名都会偏。

from qdrant_client.models import (
    ScalarQuantization, ScalarQuantizationConfig)
client.update_collection("docs",
    quantization_config=ScalarQuantization(
        scalar=ScalarQuantizationConfig(
            type="int8", quantile=0.99,
            always_ram=True)))

索引那边的参数也动过,构建时的邻居数从 16 提到 32,内存多 0.8GB,召回只涨 0.003,不划算。真正起作用的是重算,量化的损失集中在距离的细微差别上,只要最后一步回到原始向量,前面的压缩就只是加速手段。这个顺序不能反,反过来就变成拿精度换内存还换不回来。

参数上分位数取 0.99,把极端值截掉,比默认分布更稳;查询时放大倍数设 2.0,先取两倍候选再重算。延迟回到 27 毫秒,内存 3.1GB,平均倒数排名 0.855,跟完全不量化只差 0.005,这个差距落在评测自身的波动里。

验证不能只盯这一个指标。我把 500 条查询的前十名逐条比对,量化前后名次变动超过三位的占 4.7%,开重算后降到 0.8%。这个数更敏感,适合灰度时当报警指标。

原始向量常驻的代价是内存多留 0.5GB,换来的是不用重新灌库就能回退。也试过把维度砍到 512 再喂,内存更省,可语义相近的两条商品被并成一条,方向不对。压缩是压精度,降维是丢信息,别混为一谈。

您可以还会对下面的文章感兴趣: