Faiss IVF_PQ 768 维压到 96 维 召回掉 9 个点怎么补

陆零云 34 0
二百万条知识片段,768 维向量,为了避免内存爆掉用了 Faiss 的倒排乘积量化,聚类中心四千零九十六,子空间 96,每段 8 比特。上线前跑五百条标注查询,前十召回只有 0.78,原来精确内积索引是 0.93,掉了十五个点,业务侧反馈是搜得到但不全。 第一反应是探测簇太少,从 8 提到 64,召回回到 0.84,单次查询从十二毫秒涨到九十毫秒,还是不够。又试子空间 192,每个只压四维,索引从 192 兆涨到 384 兆,召回 0.89,探测 32 个...