本地跑大模型报 CUDA out of memory 怎么解决

陆零云 46 0
现象:加载能过,生成到一半就崩 本地用 transformers 或 vLLM 加载 7B 模型,终端抛出 torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.50 GiB。8GB 显存的显卡跑 7B 几乎必现;也有加载正常、对话几轮后上下文变长才崩的情况。 原因:三部分显存叠加 模型权重:fp16 下每十亿参数约 2GB,7B 光权重就要 14GB,已经超过多数消费...