显存还剩 2.4GB 却报 CUDA OOM 碎片怎么用 expandable_segments 收 陆零云 2026-11-11 10:16:57 32 0 一张 4090 跑 Qwen2.5-7B 的 fp16 推理,nvidia-smi 显示已用 21.6GB,还剩 2.4GB。请求进来要申请 1.25GB 的 KV 缓存,直接抛 CUDA out of memory. Tried to allocate 1.25 GiB。把 batch 降到 1 还是报,看着像内存泄漏。 第一反应是查泄漏,torch.cuda.memory_allocated 只有 16.8GB,memory_reserved 却是 2...