Qwen2-VL 7B 处理 4K 截图显存 21GB 直接 OOM 参数怎么压 陆零云 2026-11-14 09:34:28 27 0 用 Qwen2-VL 7B 做后台截图转文字,24G 的 4090,单张 3840 乘 2160 的图送进处理器,前向直接显存溢出,提示还要再分配 1.75G。批大小已经是一,模型权重半精度占 15.4G,剩下的显存被视觉 token 吃光了。 算了一下,切块 14,合并 2,一张 4K 图切成 137 乘 77 块,差不多一万零五百个视觉 token,再加提示词和输出,序列长度超过一万一。七十亿参数二十八层,这个长度的缓存就要 3G 多,24G 卡确实扛...