商品图检索上线,用 openai/CLIp-vit-base-patch32,中文 query 搜「白色短袖衬衫」,前十条里只有两条对得上,召回 0.29。英文 query 同样的图能到 0.68,说明链路没坏,是中文语义没进去。
第一反应是图片预处理不对,把 resize 从 224 改成 336,分数涨了一点,排序没变。又试过给 query 加提示词「一张商品照片,内容是」,前排多了几张白衣服,可颜色和品类还是混。
换模型是转折点。Chinese-CLIP 的 vit-base-patch16 在中文图文对上训练过,同一批 500 条 query,召回从 0.29 到 0.63。代价是单张图编码从 18 毫秒涨到 31 毫秒,10 万张图离线跑一遍多了 20 分钟。
from transformers import ChineseCLIPModel
m = ChineseCLIPModel.from_pretrained(
"chinese-clip-vit-base-patch16")
f = m.get_image_features(**img_inputs)
f = f / f.norm(dim=-1, keepdim=True)
q = m.get_text_features(**txt_inputs)
q = q / q.norm(dim=-1, keepdim=True)
score = q @ f.T
归一化那两行别省。第一版没做,直接用内积,向量模长大的图片霸占前排,二十条 query 的 top1 是同一张白底图。加了 L2 归一化,这条现象消失。
中文 query 还要清洗,把「帮我找」「有没有」这类前缀去掉,剩下的名词短语再编码,召回又涨了 0.04。图库侧把主图和细节图分开建索引,同一商品只留主图进召回,去重后按商品聚合。
验证不能只看整体召回。按品类拆开看,鞋类 0.71,配饰只有 0.44,配饰的 query 太抽象,靠图像向量本来就不够,后面给它加了一层类目过滤。判断该不该换模型,先看英文 query 的分数,英文都上不去说明是链路问题。
