视觉模型传 6 张图只答最后一张 2048 token 上限怎么分给每张

陆零云 25 0
商品对比场景一次传六张图,问这几款包装有什么区别,模型只描述了最后一张。三张时正常,四张开始丢,六张基本只认末尾,前面几张像没传进去。 第一反应是提示词不够清楚,在每张图前加了图一图二的文字说明,仍然只答最后一张。又把提问挪到图片之前,稍好一点,前两张能提到,后四张还是空白。 打日志看 token 构成才明白,上下文上限是 8192,每张图按默认最长边一千二百八十像素编码,要占一千二百八十个视觉 token,六张就是七千六百八十,再加文本和模板直接顶满。推...

Qwen2-VL 7B 处理 4K 截图显存 21GB 直接 OOM 参数怎么压

陆零云 26 0
用 Qwen2-VL 7B 做后台截图转文字,24G 的 4090,单张 3840 乘 2160 的图送进处理器,前向直接显存溢出,提示还要再分配 1.75G。批大小已经是一,模型权重半精度占 15.4G,剩下的显存被视觉 token 吃光了。 算了一下,切块 14,合并 2,一张 4K 图切成 137 乘 77 块,差不多一万零五百个视觉 token,再加提示词和输出,序列长度超过一万一。七十亿参数二十八层,这个长度的缓存就要 3G 多,24G 卡确实扛...