200 万条 1024 维向量放在 Qdrant 1.8 里,原始向量加索引吃掉 8.4GB,机器只有 16GB,再跑个重排进程就爆内存。开标量量化,八位整数,内存掉到 2.6GB,看着很香,当天就上了生产。
第二天评测报警,平均倒数排名从 0.86 掉到 0.82,正好 4.2 个点。第一反应是搜索范围不够,把候选扫描数从 64 提到 256,延迟从 18 毫秒涨到 61 毫秒,召回一点没回来。量化误差是把每个分量的精度压到八位,扩大候选集救不了。
查文档发现两个开关要一起开,一是原始向量常驻内存,二是拿到候选后回原始向量重算距离。只开量化不重算,等于用压缩后的距离排序,前一百名都会偏。
from qdrant_client.models import (
ScalarQuantization, ScalarQuantizationConfig)
client.update_collection("docs",
quantization_config=ScalarQuantization(
scalar=ScalarQuantizationConfig(
type="int8", quantile=0.99,
always_ram=True)))
索引那边的参数也动过,构建时的邻居数从 16 提到 32,内存多 0.8GB,召回只涨 0.003,不划算。真正起作用的是重算,量化的损失集中在距离的细微差别上,只要最后一步回到原始向量,前面的压缩就只是加速手段。这个顺序不能反,反过来就变成拿精度换内存还换不回来。
参数上分位数取 0.99,把极端值截掉,比默认分布更稳;查询时放大倍数设 2.0,先取两倍候选再重算。延迟回到 27 毫秒,内存 3.1GB,平均倒数排名 0.855,跟完全不量化只差 0.005,这个差距落在评测自身的波动里。
验证不能只盯这一个指标。我把 500 条查询的前十名逐条比对,量化前后名次变动超过三位的占 4.7%,开重算后降到 0.8%。这个数更敏感,适合灰度时当报警指标。
原始向量常驻的代价是内存多留 0.5GB,换来的是不用重新灌库就能回退。也试过把维度砍到 512 再喂,内存更省,可语义相近的两条商品被并成一条,方向不对。压缩是压精度,降维是丢信息,别混为一谈。
