二百万条知识片段,768 维向量,为了避免内存爆掉用了 Faiss 的倒排乘积量化,聚类中心四千零九十六,子空间 96,每段 8 比特。上线前跑五百条标注查询,前十召回只有 0.78,原来精确内积索引是 0.93,掉了十五个点,业务侧反馈是搜得到但不全。
第一反应是探测簇太少,从 8 提到 64,召回回到 0.84,单次查询从十二毫秒涨到九十毫秒,还是不够。又试子空间 192,每个只压四维,索引从 192 兆涨到 384 兆,召回 0.89,探测 32 个簇时延迟三十四毫秒。收益有,但离 0.93 还差一截,量化误差丢在距离计算里。
加了一步旋转预处理,先学一个 96 乘 768 的矩阵,把方差摊到各子空间,再训练乘积量化。训练多花十八分钟,召回到了 0.91。剩下的差距靠重排补,量化索引只负责召回前二百条,原始向量单独存一份单精度放在内存映射文件里,对这二百条算精确内积。
index = faiss.IndexIVFPQ(quantizer, 768, 4096, 96, 8)
index.train(x)
index.add(x)
index.nprobe = 32
D, I = index.search(q, 200)
cand = [ids[i] for i in I[0]]
score = [float(q @ vecs[i]) for i in cand]
top = sorted(zip(score, cand), reverse=True)[:10]
最终前十召回 0.92,长尾延迟二十八毫秒,内存比全量精确索引省了 71%。重排那二百条只多花六毫秒,比把探测簇拉到一百二十八划算。索引文件四百一十兆,加载四秒,服务重启能接受。
验证不能只看平均值。我把五百条查询按长度和领域分四组,法律类召回只有 0.88,因为条文表述太像,量化容易混。这一组单独把探测簇提到 64,代价是这组延迟四十五毫秒,其它组不动。分组配置写在查询参数里,前端按业务线传。
还有个坑,重建索引时忘了同步原始向量文件,重排拿到的编号对不上,召回直接掉到 0.4。现在索引和向量文件用同一个构建编号,启动时校验,不一致就拒绝加载。这个检查十行代码,比线上查半天便宜。
