一张 4090 跑 Qwen2.5-7B 的 fp16 推理,nvidia-smi 显示已用 21.6GB,还剩 2.4GB。请求进来要申请 1.25GB 的 KV 缓存,直接抛 CUDA out of memory. Tried to allocate 1.25 GiB。把 batch 降到 1 还是报,看着像内存泄漏。
第一反应是查泄漏,torch.cuda.memory_allocated 只有 16.8GB,memory_reserved 却是 21.4GB,中间 4.6GB 既没给张量也没还给驱动,是分配器手里的碎片。反复 empty_cache 能掉到 20.1GB,跑几分钟又涨回去。
试过调 max_split_size_mb,设 128 之后大块请求能过,但碎片只是被挪走,压测两小时又开始 OOM。也试过把模型切到 8bit,显存够了,输出质量掉了,业务不接受。
换成 expandable_segments:True,分配器按需扩展虚拟段,不再要求连续物理块。reserved 从 21.4GB 降到 17.2GB,同样负载下能多申请 4GB。这个开关要在进程启动前设,运行中改环境变量不生效。
顺带把 KV 缓存改成按 256 token 预分配,减少反复申请释放。两条一起上,显存曲线变平,长请求跑完不再留大洞。
确认:连续跑 6 小时 3000 次请求,OOM 0 次,reserved 峰值 18.1GB;吞吐从 18 token/s 降到 17.4,代价能接受;关掉开关复测,第 40 分钟就复现。
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
python -c "import torch; print(torch.cuda.memory_reserved()/2**30)"
python -c "import torch; print(torch.cuda.memory_allocated()/2**30)" 