200 万条 1024 维向量放在 pgvector 0.7 里,HNSW 索引加原始向量占了 8.4GB,机器只有 16GB,跑一个重排进程就开始换页。看到 0.7 新增了 halfvec,半精度存向量,理论上内存砍一半,当天就在测试库试。
改列类型时先报错,operator does not exist: halfvec <=> vector。原因很直接,列已经是 halfvec,查询参数还是 vector,两边类型对不上。索引语句也要跟着改,原来写 vector_l2_ops,现在得用 halfvec_l2_ops。
改完查询能跑,内存 4.6GB,省了 3.8GB。评测 500 条查询,召回率从 0.86 掉到 0.851,掉 0.9 个点,比预想的小。第一反应是把 ef_search 从 64 提到 128 补回来,确实回到 0.859,延迟从 22 毫秒涨到 41 毫秒。
ALTER TABLE docs ALTER COLUMN emb
TYPE halfvec(1024) USING emb::halfvec(1024);
CREATE INDEX docs_emb_idx ON docs
USING hnsw (emb halfvec_l2_ops)
WITH (m=16, ef_construction=64);
还踩了一个坑,插入时用 Python 传 numpy 数组,驱动按 float4 发,pgvector 认不出 halfvec,报维度或类型错误。查询侧显式转型就好,参数写成 %s::halfvec(1024),插入侧在 SQL 里加同样的转型,别在应用层拼字符串。
掉的那 0.9 个点集中在长尾查询,前十里两条换了名次。灰度一周,答案引用错段落的比例从 4.3% 到 4.6%,没超阈值。真正要盯的是重建索引耗时,从 26 分钟涨到 38 分钟,维护窗口得留够。
验证固定成三步,灌 500 条已知答案的查询跑召回,量索引大小,再抽 50 条看前十名变动。三步都过才切生产。向量本身方差很大时量化误差会放大,先改一份副本,别直接动主表。
