视觉模型传 6 张图只答最后一张 2048 token 上限怎么分给每张

商品对比场景一次传六张图,问这几款包装有什么区别,模型只描述了最后一张。三张时正常,四张开始丢,六张基本只认末尾,前面几张像没传进去。

第一反应是提示词不够清楚,在每张图前加了图一图二的文字说明,仍然只答最后一张。又把提问挪到图片之前,稍好一点,前两张能提到,后四张还是空白。

打日志看 token 构成才明白,上下文上限是 8192,每张图按默认最长边一千二百八十像素编码,要占一千二百八十个视觉 token,六张就是七千六百八十,再加文本和模板直接顶满。推理服务对超长输入是截断,而且从前面截,前四张的 token 被切掉了,模型看到的只剩末尾两张。

两个动作。每张图的最长边从一千二百八十降到六百四十,视觉 token 降到三百二十,六张不到两千,留足文本空间;一次最多传四张,超过就分两轮,第一轮问差异,第二轮补细节。

content = [{"type": "text", "text": q}]
for p in paths:
    content.append({"type": "image", "image": p,
                    "max_pixels": 640 * 640})
msgs = [{"role": "user", "content": content}]

也试过把六张图拼成一张长图再传,token 是省了,可模型分不清边界,回答变成一段笼统的描述。拼图只适合同一件商品的多个角度,不适合横向对比。另外同一个预处理器在不同框架里算出的视觉 token 能差两成,换框架要重新标一遍预算。

改完六张图都能描述到,回答里出现第一张瓶身更窄这类具体对比。代价是分辨率降了,包装上的配料表小字看不清,所以另开一个接口,需要读小字时单图传原图走原始尺寸。

验证别只看回答像不像。我让模型输出每张图的主色,和人工标注比对,六张全对的样本从三成一到九成二。截断这类问题不报错,日志里只有总长度,得自己把视觉 token 占比算出来,超过七成就要警惕。

您可以还会对下面的文章感兴趣: