CLIP 中文 query 召回只有 0.29 换模型后怎么复测

陆零云 31 0
商品图检索上线,用 openai/clip-vit-base-patch32,中文 query 搜「白色短袖衬衫」,前十条里只有两条对得上,召回 0.29。英文 query 同样的图能到 0.68,说明链路没坏,是中文语义没进去。 第一反应是图片预处理不对,把 resize 从 224 改成 336,分数涨了一点,排序没变。又试过给 query 加提示词「一张商品照片,内容是」,前排多了几张白衣服,可颜色和品类还是混。 换模型是转折点。Chinese-CL...