Qwen2-VL 7B 处理 4K 截图显存 21GB 直接 OOM 参数怎么压

用 Qwen2-VL 7B 做后台截图转文字,24G 的 4090,单张 3840 乘 2160 的图送进处理器,前向直接显存溢出,提示还要再分配 1.75G。批大小已经是一,模型权重半精度占 15.4G,剩下的显存被视觉 token 吃光了。

算了一下,切块 14,合并 2,一张 4K 图切成 137 乘 77 块,差不多一万零五百个视觉 token,再加提示词和输出,序列长度超过一万一。七十亿参数二十八层,这个长度的缓存就要 3G 多,24G 卡确实扛不住。更麻烦的是处理器默认不缩放,图片多大就切多少块。

第一版把最大像素压到一百万,视觉 token 降到一千二百八十,显存 17.2G,能跑。可截图里十二号字全糊了,订单号识别错误率 18%,人工复核跟不上。又试二百万像素,token 约二千五百,显存 19.8G,小字清楚一些,但长截图还是溢出。

from qwen_vl_utils import process_vision_info
msgs = [{"role": "user", "content": [
    {"type": "image", "image": path,
     "max_pixels": 2000000, "min_pixels": 262144},
    {"type": "text", "text": "逐行转写截图里的文字"}]}]
text = processor.apply_chat_template(
    msgs, add_generation_prompt=True)
image_inputs, _ = process_vision_info(msgs)
inputs = processor(text=[text], images=image_inputs,
                   return_tensors="pt").to("cuda")

最后按高度切图。2160 的截图从中间切成两张 1080,每张单独送模型,提示词写明这是第几段,不要重复页眉,结果按顺序拼。单张显存 18.6G,延迟 4.8 秒,两张九秒出头,比整图溢出强。订单号识别错误率降到 1.2%。两张图之间重叠一百像素,避免切断的表格行两边都缺。

切图位置要避开表格行。先做一次投影,找连续二十行纯白的位置再下刀,找不到就按 1080 硬切,并在提示里说明可能断开。这个预处理多花六十毫秒,能避免一半的拼接错误。投影用灰度图做,十毫秒就能算完,比模型跑一次便宜得多。

最小像素也别乱设。设成二十六万时,竖长截图会被缩得太小,页眉日期直接消失。现在按短边不低于七百二十像素反推最小像素,再和最大像素一起卡住区间,两个参数都写进配置文件,换分辨率不用改代码。

您可以还会对下面的文章感兴趣: