1536 维向量换成 bge-m3 后检索报错 40 万条怎么迁

知识库原来用 text-embedding-3-small,1536 维,后来为了本地化和成本换成 bge-m3,输出 1024 维。往旧 collection 写第一批数据就失败,Milvus 的报错大意是 float vector 长度 1024 与字段 dim 1536 不匹配,insert 直接退出。40 万条向量,流水线停在一半。

先想着改字段维度。在 Milvus 2.4 上对已有 collection 做 alter 改 dim 是不行的,报的错比原来还绕,折腾半小时后确认只能新建 collection 重新灌。别在这条路上耗时间。

新方案是建 dim=1024 的 collection,metric 用 COSINE,索引还是 HNSW,M 取 16,efConstruction 200。灌数据前先拿 2000 条抽样做新旧模型对比,同一批问题上 bge-m3 的 hit@5 在中文短查询上高 6 个百分点,长查询只高 1 个点,可以接受。

回灌用单机 8 进程,batch 256,实测每秒 180 条左右,40 万条跑了 37 分钟。中途故意断了一次,靠主键 upsert 重跑,没有产生重复。切换用 alias,旧 collection 先留着不删,出问题两分钟能切回去。

dim = 1024
fields = [
    FieldSchema("id", DataType.INT64, is_primary=True),
    FieldSchema("vec", DataType.FLOAT_VECTOR, dim=dim),
]
col = Collection("kb_v2", CollectionSchema(fields))
col.create_index("vec", {"index_type": "HNSW", "M": 16,
                         "efConstruction": 200,
                         "metric_type": "COSINE"})

回灌脚本里把模型名字和维度写进 payload,事后能查某条向量是哪个版本生成的。

上线后灰度 5% 流量跑了两天,hit@5 从 0.76 升到 0.82。有个坑:查询端如果还在用老的 1536 维 encode 函数,报错只会说维度不匹配,不会告诉你问题在查询侧还是写入侧,先确认两边跑的是同一个模型版本再排。

您可以还会对下面的文章感兴趣: